如何使用list_objects_v2从S3获取1000个以上的对象？

Question

我在S3上有超过50万个对象。 我正在尝试获取每个对象的大小。 我正在使用以下Python代码进行操作：

import boto3

bucket = 'bucket'
prefix = 'prefix'

contents = boto3.client('s3').list_objects_v2(Bucket=bucket,  MaxKeys=1000, Prefix=prefix)["Contents"]

for c in contents:
    print(c["Size"])

但它只给出了前1000个对象的大小。根据文档，我们无法获取超过1000个对象的大小。有没有办法可以获得更多？

- tahir siddiqui

---

您也可以使用Amazon S3清单获取存储桶的每日清单列表。 - John Rotenstein

Answer 1

内置的boto3 Paginator类是克服list-objects-v2 1000条记录限制最简单的方法。可以按照以下方式实现

s3 = boto3.client('s3')

paginator = s3.get_paginator('list_objects_v2')
pages = paginator.paginate(Bucket='bucket', Prefix='prefix')

for page in pages:
    for obj in page['Contents']:
        print(obj['Size'])

详情请参见：https://boto3.amazonaws.com/v1/documentation/api/latest/reference/services/s3.html#S3.Paginator.ListObjectsV2

- J Tasker

---

这正是我需要的，以便评估我能访问的当前S3存储桶列表。我一直想知道它们为什么都有1000个哈哈。 - james-see

这就是答案！ - dvallejo

有没有上限，因为“pages”在内存中，如果对象非常大会怎么样。 - ddttdd

在使用分页包装器时，我很好奇使用list_object_v2和list_object可能存在的差异。在这种情况下，_v2是否提供了优势？ - Shan Dou

@ddttdd pages 是一个迭代器，通过跟随续订令牌（本质上是一个链接列表）一次只检索一页，并在检索到没有下一个续订令牌的页面时停止。 - Josh Bode

我想检索出在过去24小时内修改过的所有对象，我们如何在分页结果中添加此筛选器？我的存储桶中可能有超过10000个在过去24小时内修改过的对象。 - Kush Patel

Answer 2

使用响应中返回的ContinuationToken作为后续调用的参数，直到响应中返回的IsTruncated值为false。

这可以被分解为一个整洁的生成器函数：

def get_all_s3_objects(s3, **base_kwargs):
    continuation_token = None
    while True:
        list_kwargs = dict(MaxKeys=1000, **base_kwargs)
        if continuation_token:
            list_kwargs['ContinuationToken'] = continuation_token
        response = s3.list_objects_v2(**list_kwargs)
        yield from response.get('Contents', [])
        if not response.get('IsTruncated'):  # At the end of the list?
            break
        continuation_token = response.get('NextContinuationToken')

for file in get_all_s3_objects(boto3.client('s3'), Bucket=bucket, Prefix=prefix):
    print(file['Size'])

- AKX

---

有没有一种方法可以分发创建这个列表的过程？通过迭代生成器来创建列表需要数小时。 - Natalie Olivo

对我非常有效！ - Muhammad Haseeb

Answer 3

如果您不需要使用 boto3.client，可以使用 boto3.resource 获取文件的完整列表：

s3r = boto3.resource('s3')
bucket = s3r.Bucket('bucket_name')
files_in_bucket = list(bucket.objects.all())

然后获取大小只需：

sizes = [f.size for f in files_in_bucket]

根据您的存储桶大小，这可能需要一分钟时间。

- seeiespi

---

使用资源有什么优势吗？ - crypdick

有些方法可以在资源中找到，而在客户端中找不到，反之亦然。然而，在我的经验中，它们共享许多相同的功能。您可能可以使用客户端获取存储桶的大小，但我没有找到类似于此的另一种方法。 - seeiespi

我这样列出了路径中的对象：s3_resource = boto3.resource('s3') source_bucket_obj = s3_resource.Bucket(source_bucket) source_objects = source_bucket_obj.objects.filter(Prefix=source_key)你是否在说，这将列出所有文件，即使超过1000个？ - Melissa Guo

在3000个列表之后，这将失败。 - saviour123

我使用了这个方法和objects.filter来限制对象只能匹配特定的前缀。 - Rocco