这是我用来调用Scrapy的Python脚本,答案在这里:从脚本中调用Scrapy爬取后总是阻塞脚本执行。
这段代码来自于这里。
当我像这样运行爬虫时:
创建了一个带有预期输出的链接文件。但是当我执行Python脚本时,它并没有创建任何文件,尽管爬虫运行时转储的Scrapy统计数据与上一次运行的相似。我认为Python脚本中存在错误,因为第一次尝试时文件已经被创建。如何使脚本输出文件?
def stop_reactor():
reactor.stop()
dispatcher.connect(stop_reactor, signal=signals.spider_closed)
spider = MySpider(start_url='abc')
crawler = Crawler(Settings())
crawler.configure()
crawler.crawl(spider)
crawler.start()
log.start()
log.msg('Running reactor...')
reactor.run() # the script will block here until the spider is closed
log.msg('Reactor stopped.')
这是我的pipelines.py代码
from scrapy import log,signals
from scrapy.contrib.exporter import JsonItemExporter
from scrapy.xlib.pydispatch import dispatcher
class scrapermar11Pipeline(object):
def __init__(self):
self.files = {}
dispatcher.connect(self.spider_opened , signals.spider_opened)
dispatcher.connect(self.spider_closed , signals.spider_closed)
def spider_opened(self,spider):
file = open('links_pipelines.json' ,'wb')
self.files[spider] = file
self.exporter = JsonItemExporter(file)
self.exporter.start_exporting()
def spider_closed(self,spider):
self.exporter.finish_exporting()
file = self.files.pop(spider)
file.close()
def process_item(self, item, spider):
self.exporter.export_item(item)
log.msg('It reached here')
return item
这段代码来自于这里。
当我像这样运行爬虫时:
Scrapy :: Issues with JSON export
scrapy crawl MySpider -a start_url='abc'
创建了一个带有预期输出的链接文件。但是当我执行Python脚本时,它并没有创建任何文件,尽管爬虫运行时转储的Scrapy统计数据与上一次运行的相似。我认为Python脚本中存在错误,因为第一次尝试时文件已经被创建。如何使脚本输出文件?