在Scrapy项目中使用多个爬虫

Question

我想知道在同一个项目中是否可以同时使用多个蜘蛛？实际上我需要两个蜘蛛。第一个蜘蛛收集链接，第二个蜘蛛爬取这些链接。它们都在同一个网站上工作，所以域名相似。这个可行吗？如果可以，你能给我一个例子吗？ 谢谢

- Hossein

Answer 1

也许这就是你要找的东西：

def parse(self, response):
    # parse the links (aka your first spider)
    for link in hxs('//XPATH'):
        yield Request(link.extract(), callback=self.parse_link)

def parse_link(self, response):
    # continue parsing (aka your second spider)

希望这可以帮到你 :)

- anders

---

这实际上并没有回答“多个蜘蛛”的问题。它只是一种常见的技巧，取代了使用多个蜘蛛的方法。如果有更完整的答案会更好。 - Zv_oDD