Scrapy无法正确下载文件。我有我的项目的URL,所以我想我可以使用wget来下载文件。
我如何在Scrapy的process_item
函数中使用wget?或者,还有其他下载文件的方式吗?
class MyImagesPipeline(ImagesPipeline):
#Name download version
def image_key(self, url):
image_guid = url.split('/')[-1]
return 'full/%s' % (image_guid)
def get_media_requests(self, item, info):
if item['image_urls']:
for image_url in item['image_urls']:
# wget -nH image_ul -P images/
yield Request(image_url)