使用Feed Exporter将Scrapyd中的项目保存到Amazon S3

Question

使用Scrapy与Amazon S3相结合非常简单，您只需设置以下内容：

• FEED_URI = 's3://MYBUCKET/feeds/%(name)s/%(time)s.jl'
• FEED_FORMAT = 'jsonlines'
• AWS_ACCESS_KEY_ID = [访问密钥]
• AWS_SECRET_ACCESS_KEY = [秘密访问密钥]

然后一切都会很好地运行。

但是，Scrapyd似乎会覆盖该设置并将项目保存在服务器上（网站中有一个链接）。

添加"items_dir ="设置似乎不会改变任何内容。

哪种设置能够使它正常工作呢？

编辑：可能相关的额外信息-我们正在使用Scrapy-Heroku。

- arikg

---

你在 Scrapyd 日志中看到了什么吗？如果你直接通过 scrapy crawl 运行爬虫，它会将项目保存在 S3 上吗？你是如何告诉 Scrapyd 你的项目 settings 文件在哪里的？ - alecxe

据我所见，日志中没有任何信息。当我执行“scrapy crawl”时，它确实保存到S3（这告诉我S3配置良好），并且我只是将设置放在默认位置（我知道它读取得很好，因为我在那里有“application”设置-它可以正常工作）。 - arikg

Answer 1

我也遇到了同样的问题。将 scrapyd.conf 文件中的 items_dir= 删除即可解决。

- pranavi dandu

Answer 2

您可以将items_dir属性设置为空值，如下所示：

[scrapyd]
items_dir=

看起来当设置了该属性时，它会优先于配置的导出。请参阅http://scrapyd.readthedocs.org/en/latest/config.html获取更多信息。

- César Izurieta