我有一个在同一个工作空间中包含Django和Scrapy文件夹的项目:
my_project/
django_project/
django_project/
settings.py
app1/
app2/
manage.py
...
scrapy_project/
scrapy_project/
settings.py
scrapy.cfg
...
我已将Scrapy与我的Django App1模型连接,因此每次运行蜘蛛时,它都会将收集的数据存储在我的PostgreSQL数据库中。
这就是我的Scrapy项目如何访问Django模型的方式。
#in my_project/scrapy_project/scrapy_project/settings.py
import sys
import os
import django
sys.path.append('/../../django_project')
os.environ['DJANGO_SETTINGS_MODULE'] = 'django_project.settings'
django.setup()
当我从命令行调用蜘蛛时,一切都很顺利。但是当我想要从Django视图或Django中的Celery任务等脚本中调用蜘蛛时,出现了问题:
from scrapy.crawler import CrawlerProcess
from scrapy.utils.project import get_project_settings
process = CrawlerProcess(get_project_settings())
process.crawl('spider_name')
process.start()
我遇到了一个错误:
KeyError: 'Spider not found: spider_name'
我觉得我应该告诉Django Scrapy的位置(就像我在Scrapy设置中所做的那样),但我不知道该如何做。 说实话,我甚至不确定为这个项目设计文件夹结构的方式是否正确。
scrapy_project
不在PATH
中。 - Andrey Shipilovscrapy_project
在PATH
上是否足够?我认为scrapy_project
必须是当前工作目录(但我只是简单地阅读了代码)。 - aufziehvogeldjango_project/
目录中放置到scrapy.cfg
的符号链接来解决了这个问题。 - Andrii Tykhonov