Python: 特殊字符编码

Question

Python: 特殊字符编码

pythontextcharacter-encodingreplacespecial-characters

3

以下是我使用的代码，用于替换文本文件中的特殊字符并将它们连接成一个单独的文件。

# -*- coding: utf-8 -*-

    import os
    import codecs

    dirpath = "C:\\Users\\user\\path\\to\\textfiles"
    filenames = os.listdir(dirpath)

    with codecs.open(r'C:\Users\user\path\to\output.txt', 'w', encoding='utf8') as outfile:
        for fname in filenames:
            currentfile = dirpath+"\\"+fname
            with codecs.open(currentfile, encoding='utf8') as infile:
        #print currentfile
                outfile.write(fname)
                outfile.write('\n')
                outfile.write('\n')

                for line in infile:

                    line = line.replace(u"´ı", "i")
                    line = line.replace(u"ï¬", "fi")
                    line = line.replace(u"ï¬‚", "fl")
                    outfile.write (line)

line.replace的第一个使用是正确的，而其他的则不行（这是有道理的），由于没有生成错误，所以我认为可能存在“可见性”问题（如果这是术语的话）。所以我做了这个：

import codecs

currentfile = 'textfile.txt'
with codecs.open('C:\\Users\\user\\path\\to\\output2.txt', 'w', encoding='utf-8') as outfile:
with open(currentfile) as infile:
for line in infile:
if "ï¬" not in line: print "not found!"

这段代码总是返回“not found!”，证明这些字符没有被读取。

当在第一个脚本中改为with codecs.open('C:\Users\user\path\to\output.txt', 'w', encoding='utf-8') as outfile:时，我会得到以下错误：

Traceback (most recent call last):
File C:\\path\\to\\concat.py, line 30, in <module>
outfile.write(line)
File C:\\Python27\\codecs.py, line 691, in write
return self.writer.write(data)
File C:\\Python27\\codecs.py, line 351, in write
data, consumed = self.encode(object, self.errors)
Unicode DecodeError: 'ascii' codec can't decode byte 0xe7 in position 0: ordinal
not in range (128)

由于我在Python方面经验不足，无法通过已有的不同来源解决问题：Python文档（1，2）和StackOverflow相关问题（1，2），我现在陷入了困境。有什么建议吗？欢迎所有答案！

- user1834437

我建议您打印所需替换的行和字符的“repr”。它们可能看起来相同，但在内部是不同的字符。 - Bakuriu

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Martijn Pieters · Answer 1

如果您不使用编码，则使用codecs.open()没有意义。要么在读取和写入时都指定编码，要么完全放弃它。没有编码，codecs.open()只是open()的别名。

在这里，您真的需要指定要打开的文件的编解码器，以处理Unicode值。当超出ASCII字符范围时，您还应该使用unicode字面值；指定源文件编码或使用Unicode转义代码来处理数据：

# -*- coding: utf-8 -*- 
import os
import codecs

dirpath = u"C:\\Users\\user\\path\\to\\textfiles"
filenames = os.listdir(dirpath)

with codecs.open(r'C:\Users\user\path\to\output.txt', 'w', encoding='utf8') as outfile:
    for fname in filenames:
        currentfile = os.path.join(dirpath, fname)
        with codecs.open(currentfile, encoding='utf8') as infile:
            outfile.write(fname + '\n\n')
            for line in infile:
                line = line.replace(u"´ı", u"i")
                line = line.replace(u"ï¬", u"fi")
                line = line.replace(u"ï¬‚", u"fl")
                outfile.write (line)

这指定解释器使用UTF-8编解码器保存源文件，确保u"´ı"代码点正确解码为Unicode值，并且使用codec.open()打开文件时使用encoding确保读取的行被解码为Unicode值，并确保将您的Unicode值作为UTF-8写入输出文件。

请注意，dirpath值也是Unicode值。如果您使用Unicode路径，则os.listdir()返回Unicode文件名，如果这些文件名中有任何非ASCII字符，则这是必不可少的。

如果您没有做到这一点，那么很可能您的源代码编码与从文件中读取的数据不匹配，并且您正在尝试用一些ASCII字符替换错误的编码字节集。