如何将大型数据文件分块写入CSV文件中?
我有一组大型数据文件(1M行×20列),但是只有其中约5个列对我有兴趣。
我想通过仅保留感兴趣的列来创建副本,以便我可以使用较小的文件进行后处理。因此,我的计划是将文件读入数据帧,然后写入CSV文件。
我一直在研究如何将大型数据文件分块读入数据帧中。然而,我还没有找到任何关于如何将数据分块写入CSV文件的信息。
以下是我现在正在尝试的代码,但这不会将CSV文件附加到已有的内容末尾:
with open(os.path.join(folder, filename), 'r') as src:
df = pd.read_csv(src, sep='\t',skiprows=(0,1,2),header=(0), chunksize=1000)
for chunk in df:
chunk.to_csv(os.path.join(folder, new_folder,
"new_file_" + filename),
columns = [['TIME','STUFF']])
for i, chunk in chunks:
,然后设置header=(i==0)
。该语句的作用是在处理分块数据时,在第一块数据前面添加一个标题行。 - naught101