如何将Pandas数据框保存为压缩的CSV文件?

5

我使用Pandas 0.18加载一个非常大的csv文件,格式为gz。代码如下:

pd=pd.read_csv('myfile.gz')

不出意外,一旦将csv文件解压缩并加载进内存后,它会占用大量空间。但是,我仍然需要在进行计算后保存我的文件。

to_csv能否以gz格式存储我的数据框架?我在StackOverflow上找到的唯一相关问题已经三年了……

1个回答

11
您可以使用参数compression='gzip'

来源


2
当您直接上传到S3时,压缩将失败。 - Shivangi Singh
@ShivangiSingh 那么如何处理这个问题?你能让它在S3存储桶中工作吗? - Tejas Krishna Reddy
你可以使用临时文件。 - Shivangi Singh

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接