实际上,我想将与特定网站相关的所有数据(文本、 hrefs 和 images)存储到单个文件夹中。为了做到这一点,我需要将该文件夹的路径传递给所有不同的解析函数。因此,我想像这样在 scrapy.Request() 中传递额外的 kwargs 以传递此路径:
我应该如何将该路径传递给下一个函数?
yield scrapy.Request(url=url,dont_filter=True, callback=self.parse,errback = self.errback_function,kwargs={'path': '/path/to_folder'})
但它出现了错误 TypeError: __init__() got an unexpected keyword argument 'kwargs'
。我应该如何将该路径传递给下一个函数?
meta
参数来传递额外的参数。 https://doc.scrapy.org/en/latest/topics/request-response.html#request-objects - amarynets