Scrapy在爬取下一个URL之前完成重定向

Question

无论何时，当Scrapy获取到一个302重定向时，该操作都会被添加为队列中的最后一项。有没有办法强制Scrapy完成重定向并在此之后处理下一个URL？

- Mark

---

你可以尝试增加REDIRECT_PRIORITY_ADJUST的值，看看是否有帮助？ - Tomáš Linhart

Answer 1

根据评论中Tomáš的说法，REDIRECT_PRIORITY_ADJUST控制重定向优先级。

然而，您在默认的scrapy设置中所描述的情况不应该发生，因为此设置默认为+2。默认情况下，所有scrapy请求都以0进行调度，因此所有重定向请求应具有优先于其他请求的优先级。

您可以使用priority参数调度单个请求的优先级。
例如，如果您想将优先级设置为100，则需要编写以下代码：

yield Request("http://someurl.com", priority=100)

- Granitosaurus