将二进制输入流转换为文本模式。

Question

我正在尝试在Python 3.2中读取一个bzip2压缩的CSV文件。对于一个未压缩的CSV文件，这个方法是可行的：

datafile = open('./file.csv', mode='rt')
data = csv.reader(datafile)
for e in data:    # works
    process(e)

问题在于BZ2File仅支持创建二进制流，在Python 3中，csv.reader仅接受文本流。 （gzip和zip文件也存在相同的问题。）

datafile = bz2.BZ2File('./file.csv.bz2', mode='r')
data = csv.reader(datafile)
for e in data:    # error
    process(e)

特别是，该行代码抛出异常_csv.Error: iterator should return strings, not bytes (did you open the file in text mode?)。

我也尝试过data = csv.reader(codecs.EncodedFile(datafile, 'utf8'))，但这并没有解决错误。

我该如何将二进制输入流包装起来以便在文本模式下使用？

- Mechanical snail

Answer 1

这对我来说可行：

import codecs, csv
f = codecs.open("file.csv", "r", "utf-8")
g = csv.reader(f)
for e in g:
    print(e)

在BZ2的情况下：

import codecs, csv, bz2
f = bz2.BZ2File("./file.csv.bz2", mode="r")
c = codecs.iterdecode(f, "utf-8")
g = csv.reader(c)
for e in g:
    print(e)

- vz0

---

你打算如何在一个bz2压缩文件中使用它？ - Ignacio Vazquez-Abrams

@vz0：最后需要检查的细节是换行符的解释是否按预期工作（即不解释）。换句话说，如果换行序列可以包含在引号值内，则未压缩的CSV将使用open(fname，'r'，newlines ='')。很可能它能够正确地工作。你可以试试吗？ - pepr