读取和解析 TSV 文件，然后高效地处理并保存为 CSV 文件。

Question

我的源数据在一个TSV文件中，有6列超过200万行。

这是我想要完成的：

1. 我需要读取源文件中3列（第3、4、5列）的数据。
2. 第五列是整数。我需要使用该整数值来复制一行条目，使用第三和第四列的数据（按照整数次数）。
3. 我希望将＃2的输出以CSV格式写入输出文件。

下面是我想出的内容。

我的问题：这是一种有效的方法吗？尝试在200万行上执行时似乎会很耗费资源。

首先，我制作了一个样本tab分隔文件来处理，并将其命名为'sample.txt'。它很基本，只有四行：

Row1_Column1    Row1-Column2    Row1-Column3    Row1-Column4    2   Row1-Column6
Row2_Column1    Row2-Column2    Row2-Column3    Row2-Column4    3   Row2-Column6
Row3_Column1    Row3-Column2    Row3-Column3    Row3-Column4    1   Row3-Column6
Row4_Column1    Row4-Column2    Row4-Column3    Row4-Column4    2   Row4-Column6

然后我有这段代码：

import csv 

with open('sample.txt','r') as tsv:
    AoA = [line.strip().split('\t') for line in tsv]

for a in AoA:
    count = int(a[4])
    while count > 0:
        with open('sample_new.csv', 'a', newline='') as csvfile:
            csvwriter = csv.writer(csvfile, delimiter=',')
            csvwriter.writerow([a[2], a[3]])
        count = count - 1

- CJH

Answer 1

你应该使用 csv 模块来读取制表符分隔值文件。不要一次性将其全部读入内存。每行读取的数据都包含了您需要写入输出 CSV 文件的所有信息。在整个过程中保持输出文件处于打开状态。

import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows([row[2:4] for _ in range(count)])

或者，使用 itertools 模块和 itertools.repeat() 来进行重复操作：

from itertools import repeat
import csv

with open('sample.txt', newline='') as tsvin, open('new.csv', 'w', newline='') as csvout:
    tsvin = csv.reader(tsvin, delimiter='\t')
    csvout = csv.writer(csvout)

    for row in tsvin:
        count = int(row[4])
        if count > 0:
            csvout.writerows(repeat(row[2:4], count))

- Martijn Pieters

---

抱歉我的无知，但是最后一行的下划线是什么意思/作用？ - Samuel Lampa

这只是一个占位符，它像i或counter一样是一个普通变量，但在这种情况下仅表示“我不关心循环变量具有什么值，因为我无论如何都忽略它”。 - Martijn Pieters

@MartijnPieters，好的，谢谢！（我怀疑是这样，但不确定它是否在数组索引方面做了一些魔法。） - Samuel Lampa

换言之，按惯例，这个符号用于必须有一个赋值目标但又希望忽略已赋值内容的情况。在元组拆包中也可以看到它的应用，例如 name, _, _, score = line.split()，用于忽略分割后行中间两个值。 - Martijn Pieters