我们能否使用boto3 Python在aws s3存储桶之间递归复制文件和文件夹？

Question

是否有可能使用boto3将一个源存储桶中的所有文件复制到另一个目标存储桶中？并且源存储桶没有常规文件夹结构。

Source bucket: SRC
Source Path: A/B/C/D/E/F..
where in D folder it has some files,
E folder has some files

Target bucket: TGT
Target path: L/M/N/

我需要使用boto3将上述SRC bucket中C文件夹下的所有文件和文件夹复制到N文件夹下的TGT bucket。请问是否有现成的API可用，或者我们需要编写新的Python脚本来完成此任务。

- Gowthaman Javi

---

AWS CLI有一个sync命令可供使用。据我所知，boto3没有相应的命令。 - Alasdair

正确，我们可以在AWS CLI中使用sync或cp --recursive命令。但是我需要在boto3中实现。如果不行，我们需要编写自己的代码来实现吗？我的理解正确吗？ - Gowthaman Javi

一种方法是使用Bucket.objects.all()获取每个对象的迭代器，并使用s3transfer将它们复制。这里是objects.all()或filter()的示例：https://dev59.com/TZXfa4cB1Zd3GeqPaiM5#36044264 - mootmoot

Answer 1

S3 存储对象，不存储文件夹，即使 '/' 或 '\' 是对象键名称的一部分。您只需操作键名称并复制数据即可。

import boto3
old_bucket_name = 'SRC'
old_prefix = 'A/B/C/'
new_bucket_name = 'TGT'
new_prefix = 'L/M/N/'
s3 = boto3.resource('s3')
old_bucket = s3.Bucket(old_bucket_name)
new_bucket = s3.Bucket(new_bucket_name)

for obj in old_bucket.objects.filter(Prefix=old_prefix):
    old_source = { 'Bucket': old_bucket_name,
                   'Key': obj.key}
    # replace the prefix
    new_key = obj.key.replace(old_prefix, new_prefix, 1)
    new_obj = new_bucket.Object(new_key)
    new_obj.copy(old_source)

zvikico建议的定义new_key的优化技巧：

new_key = new_prefix + obj.key[len(old_prefix):]

- mootmoot

---

谢谢！最后一行的 source 应该是 old_source 吗？ - Carl Smith

@CarlSmith：感谢指出错误。代码已更新。 - mootmoot

实际上，执行 obj.key.replace(old_prefix, new_prefix) 是危险的，因为前缀可能会被找到多次。更安全的做法是执行 new_prefix + obj.key[len(old_prefix):]。 - zvikico

你也可以保留一个 old_source 的 dict 实例，并更新 Key，而不是每次都重建它。 - xiay

"expected string or bytes-like object: TypeError" 我遇到了这个错误。 - Shree Batale