200得票8回答
如何使用boto3将文件或数据写入S3对象

在boto 2中,你可以使用以下方法将数据写入S3对象: Key.set_contents_from_string() Key.set_contents_from_file() Key.set_contents_from_filename() Key.set_contents_from_s...

182得票7回答
如何使用boto3将S3对象保存到文件中

我正在尝试使用新的boto3客户端与AWS进行“hello world”。 我的用例非常简单:从S3获取对象并将其保存到文件中。 在boto 2.X中,我会这样做:import boto key = boto.connect_s3().get_bucket('foo').get_key('...

177得票20回答
使用boto3从S3存储桶中检索子文件夹名称

使用boto3包,我可以访问我的AWS S3存储桶:s3 = boto3.resource('s3') bucket = s3.Bucket('my-bucket-name') 现在,这个桶中包含文件夹first-level,它本身包含几个以时间戳命名的子文件夹,例如1456753904534...

168得票1回答
AWS的boto和boto3有什么区别?

我正在尝试学习boto API,发现Python有两个主要版本/软件包:boto和boto3。 AWS的boto和boto3库有什么区别?

132得票10回答
如何在AWS S3上将文本文件导入pandas而无需写入磁盘

我在S3上保存了一个制表符分隔的文本文件,需要将其加载到pandas中,但由于我正在Heroku服务器上运行,无法先保存该文件。以下是我目前的进展。 import io import boto3 import os import pandas as pd os.environ["AWS_A...

131得票8回答
模拟boto3 S3客户端方法Python

我正在尝试模拟boto3 s3客户端对象的一个单一方法以抛出异常。但是,我需要该类的所有其他方法正常工作。 这样我就可以在执行upload_part_copy时发生错误时测试单个异常测试。 第一次尝试import boto3 from mock import patch with pat...

130得票4回答
从S3下载文件时,在AWS Lambda中出现“只读文件系统”错误

当我将一个file.csv文件放入S3存储桶时,我的lambda函数出现以下错误。这个文件并不大,我甚至在读取文件之前添加了60秒的休眠时间,但是出现了额外的".6CEdFe7C"附加到文件上的情况。为什么会这样?[Errno 30] Read-only file system: u'/fil...

128得票3回答
如何使用list_objects_v2从S3获取1000个以上的对象?

我在S3上有超过50万个对象。 我正在尝试获取每个对象的大小。 我正在使用以下Python代码进行操作:import boto3 bucket = 'bucket' prefix = 'prefix' contents = boto3.client('s3').list_objects_v...

127得票18回答
使用Boto3从S3 Bucket下载所有文件

我正在使用boto3从S3存储桶获取文件。我需要类似于aws s3 sync的功能。 我的当前代码是:#!/usr/bin/python import boto3 s3=boto3.client('s3') list=s3.list_objects(Bucket='my_bucket_nam...

123得票10回答
使用boto3从S3存储桶中读取文件内容

我通过执行以下操作读取S3存储桶中的文件名:objs = boto3.client.list_objects(Bucket='my_bucket') while 'Contents' in objs.keys(): objs_contents = objs['Conte...