我希望能够启动/暂停/恢复一个爬虫,我正在尝试使用
scrapy crawl some spiders JOBDIR=crawls/some spider-1
然而,这主要只是复制和粘贴,因为关于这里实际发生了什么并没有太多的信息。有人对具体情况有更多信息吗?
我明白第一部分,但不知道 JOBDIR=crawls/some spider-1
部分实际上在发生什么。我看到其他人把代码放在这样的位置。
scrapy crawl some spiders JOBDIR=crawls/some spider
没有使用-1
,不知道有什么区别。我注意到了这一点。我倾向于使用CTRL+C退出,但根据我的阅读和经验,这样做是不好的,因为如果我重新输入代码,
scrapy crawl some spiders JOBDIR=crawls/some spider-1
当我执行这段代码时,它会像蜘蛛一样立即完成。如果我想要“重置”它以纠正错误,该怎么办?如果我将-1
去掉,它将再次正常工作,但我不确定是否会有什么损失。