我需要使用Python中的boto3从S3存储桶读取多个CSV文件,并最终将这些文件合并成单个数据框架中的内容。
我能够通过以下Python脚本读取单个文件:
s3 = boto3.resource('s3')
bucket = s3.Bucket('test-bucket')
for obj in bucket.objects.all():
key = obj.key
body = obj.get()['Body'].read()
以下是我的路径
files/splittedfiles/Code-345678
在Code-345678
中,我有多个csv
文件,我需要在pandas中读取并将它们合并为单个数据帧。另外,我怎样能传递一个选定的
Codes
列表作为参数,以便只读取这些文件夹。例如:files/splittedfiles/Code-345678
files/splittedfiles/Code-345679
files/splittedfiles/Code-345680
files/splittedfiles/Code-345681
files/splittedfiles/Code-345682
我需要仅读取以下代码下的文件。
345678,345679,345682
我该如何在Python中实现?
body
转换为指定为utf-8编码的字符串,然后将其转换为StringIO对象。但是,在这种情况下,结果可能会导致整个字符串作为列名,并带有空值。 - Dave Liu