我想知道在同一个项目中是否可以同时使用多个蜘蛛?实际上我需要两个蜘蛛。第一个蜘蛛收集链接,第二个蜘蛛爬取这些链接。它们都在同一个网站上工作,所以域名相似。这个可行吗?如果可以,你能给我一个例子吗? 谢谢
我想知道在同一个项目中是否可以同时使用多个蜘蛛?实际上我需要两个蜘蛛。第一个蜘蛛收集链接,第二个蜘蛛爬取这些链接。它们都在同一个网站上工作,所以域名相似。这个可行吗?如果可以,你能给我一个例子吗? 谢谢
def parse(self, response):
# parse the links (aka your first spider)
for link in hxs('//XPATH'):
yield Request(link.extract(), callback=self.parse_link)
def parse_link(self, response):
# continue parsing (aka your second spider)
希望这可以帮到你 :)