.net downloadstring(url) 突然返回 503 错误

3

我有一个简单的函数来爬取网页,但是针对某个特定页面,下面的代码突然出现了503错误:

try
{
  WebClient client = new WebClient();
  client.Proxy = null;
  string webhtml = client.DownloadString(strURL);
  client.Dispose();
  return (webhtml);
}

当我在IE或FF中输入URL时,它可以正常工作,但是在运行此代码时返回错误。其他URL正常工作。我猜测从.net发出的http请求与任一浏览器不同。有没有更好的方法来模拟基于浏览器的http请求呢?
谢谢。

2
他们可能会禁止你的请求,因为他们不希望自己的网站被抓取。 - idstam
能否发布URL链接?如果有链接的话,我可以提供更多帮助。 - cgatian
1个回答

0

试用一下 Fiddler 吧,它拥有你所需的所有好处。 - cgatian
谢谢,cgatian。我忘了 Fiddler,但你说得对。那也能很好地解决我的问题。 - nycdan

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接