我有一个巨大的文件,我们称之为 one-csv-file.xz。它是一个XZ压缩的CSV文件。
我如何在不先将其解压到磁盘上的情况下打开并遍历文件?如果文件大小达到100GB呢?Python当然不能一次性读取所有内容到内存中。会分页还是会耗尽内存?
我如何在不先将其解压到磁盘上的情况下打开并遍历文件?如果文件大小达到100GB呢?Python当然不能一次性读取所有内容到内存中。会分页还是会耗尽内存?
LZMAFile
对象。import lzma # python 3, try lzmaffi in python 2
with open('one-csv-file.xz') as compressed:
with lzma.LZMAFile(compressed) as uncompressed:
for line in uncompressed:
do_stuff_with(line)