我需要通过代理下载大量页面。构建多线程网络爬虫的最佳实践是什么?
Parallel.For\Foreach是否足够好,还是对于重度CPU任务来说有更好的选择?
你对以下代码有何看法?
var multyProxy = new MultyProxy();
multyProxy.LoadProxyList();
Task[] taskArray = new Task[1000];
for(int i = 0; i < taskArray.Length; i++)
{
taskArray[i] = new Task( (obj) =>
{
multyProxy.GetPage((string)obj);
},
(object)"http://google.com"
);
taskArray[i].Start();
}
Task.WaitAll(taskArray);
它的表现非常糟糕。它非常慢,我不知道为什么。
这段代码也表现很差。
System.Threading.Tasks.Parallel.For(0,1000, new System.Threading.Tasks.ParallelOptions(){MaxDegreeOfParallelism=30},loop =>
{
multyProxy.GetPage("http://google.com");
}
);
我认为我做错了什么。
当我启动我的脚本时,它只使用2%-4%的网络。