我需要爬取父网页及其子网页,我遵循了http://www.albahari.com/threading/part4.aspx#%5FWait%5Fand%5FPulse中的生产者/消费者概念。同时,我使用了5个线程来对链接进行入队和出队操作。
如果队列的长度未知,您有什么建议可以让我在所有线程完成队列处理后结束/合并所有线程?
以下是我的编码思路。
如果队列的长度未知,您有什么建议可以让我在所有线程完成队列处理后结束/合并所有线程?
以下是我的编码思路。
static void Main(string[] args)
{
//enqueue parent links here
...
//then start crawling via threading
...
}
public void Crawl()
{
//dequeue
//get child links
//enqueue child links
}