我正在尝试使用s3fs库和pandas将数据框写入S3作为CSV文件。
尽管有文档说明,但我担心s3fs不支持gzip压缩参数。
这段代码将数据框以纯CSV格式保存为S3中的新对象,而不是gzip格式。另一方面,使用此压缩参数时读取功能正常工作。
建议/替代措施以解决写入问题? 提前感谢您!
def DfTos3Csv (df,file):
with fs.open(file,'wb') as f:
df.to_csv(f, compression='gzip', index=False)
这段代码将数据框以纯CSV格式保存为S3中的新对象,而不是gzip格式。另一方面,使用此压缩参数时读取功能正常工作。
def s3CsvToDf(file):
with fs.open(file) as f:
df = pd.read_csv(f, compression='gzip')
return df
建议/替代措施以解决写入问题? 提前感谢您!