我有一个数据库,超过200万条记录。每个记录都包含一个指向需要下载并存储到AWS S3的图像的URL。
有没有更好的方法来处理这个问题,而不是一个一个地下载和上传?
我目前正在使用Python和pymongo。
for item in itemsCursor:
download_image(item['imageurl')
def download_image(item):
name = 'example.jpg'
response = requests.get(url)
img = Image.open(StringIO(response.content))
img.save('temp.jpg', "JPEG")
s3.meta.client.upload_file('temp.jpg', 'bucket', name)