我正在尝试在C#中实现一个有限的网络爬虫（仅针对几百个网站），使用HttpWebResponse.GetResponse()和Streamreader.ReadToEnd()，也尝试使用StreamReader.Read()和循环来构建HTML字符串。
我只下载大小约为5-10K的页面。
一切都非常缓慢！例如，GetResponse()的平均时间约为半秒，而StreamREader.ReadToEnd()的平均时间约为5秒！
所有的站点都应该非常快，因为它们非常接近我的位置并且具有快速的服务器。（在浏览器中下载几乎不需要时间）而且我没有使用任何代理。
我的爬虫大约有20个线程同时从同一个站点读取。这可能会导致问题吗？
如何大幅度降低StreamReader.ReadToEnd时间？
HttpWebRequest 可能需要一些时间来检测您的代理设置。尝试将以下内容添加到您的应用程序配置中:
<system.net>
<defaultProxy>
<proxy autoDetect="True" />
</defaultProxy>
</system.net>
<system.net>
<defaultProxy enabled="false">
<proxy/>
<bypasslist/>
<module/>
</defaultProxy>
</system.net>
如果缓冲读取以减少对底层操作系统套接字的调用，您可能还会看到轻微的性能提升：
using (BufferedStream buffer = new BufferedStream(stream))
{
using (StreamReader reader = new StreamReader(buffer))
{
pageContent = reader.ReadToEnd();
}
}
默认情况下，您不能执行超过2-3个异步HttpWebRequest（取决于操作系统）。为了覆盖它（最简单的方法，我认为），不要忘记在应用程序的配置文件中添加以下内容：
<system.net>
<connectionManagement>
<add address="*" maxconnection="65000" />
</connectionManagement>
</system.net>
我曾经遇到过同样的问题，但当我将HttpWebRequest的代理参数设置为null时，问题得以解决。
UriBuilder ub = new UriBuilder(url);
HttpWebRequest request = (HttpWebRequest)WebRequest.Create( ub.Uri );
request.Proxy = null;
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
我发现应用程序配置方法不起作用，但问题仍然是由于代理设置引起的。我的简单请求以前需要花费长达30秒的时间，现在只需要1秒。
public string GetWebData()
{
string DestAddr = "http://mydestination.com";
System.Net.WebClient myWebClient = new System.Net.WebClient();
WebProxy myProxy = new WebProxy();
myProxy.IsBypassed(new Uri(DestAddr));
myWebClient.Proxy = myProxy;
return myWebClient.DownloadString(DestAddr);
}
感谢大家的回答，它们帮助我朝着正确的方向深入了解。虽然我也遇到了同样的性能问题，但是建议更改应用程序配置文件的解决方案（我理解这个解决方案是针对Web应用程序的）并不符合我的需求，我的解决方案如下：
HttpWebRequest webRequest;
webRequest = (HttpWebRequest)System.Net.WebRequest.Create(fullUrl);
webRequest.Method = WebRequestMethods.Http.Post;
if (useDefaultProxy)
{
webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
webRequest.Credentials = CredentialCache.DefaultCredentials;
}
else
{
System.Net.WebRequest.DefaultWebProxy = null;
webRequest.Proxy = System.Net.WebRequest.DefaultWebProxy;
}
为什么多线程不能解决这个问题？多线程可以最小化网络等待时间，而且由于您将缓冲区的内容存储在系统内存（RAM）中，所以不会有来自处理文件系统的IO瓶颈。因此，您下载和解析需要82秒的82页应该只需要大约15秒（假设是4倍处理器）。如果我漏掉了什么，请纠正我。
____ 下载线程 _____*
下载内容
生成流
读取内容
_________________________*
AspxAutoDetectCookieSupport=1）request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(new Cookie("AspxAutoDetectCookieSupport", "1") { Domain = target.Host });