以下是我如何打开、读取和输出文件的方法。该文件是一个UTF-8编码的文件，用于表示Unicode字符。我想要打印前10个UTF-8字符，但下面代码片段的输出却打印出了10个奇怪的无法识别的字符。不知道是否有人有任何想法如何正确地打印？谢谢。
with open(name, 'r') as content_file:
content = content_file.read()
for i in range(10):
print content[i]
�
敬礼， 林
utfbytes = "\xc2\xa9 \xc2\xae \xe2\x84\xa2"
print utfbytes, len(utfbytes)
for b in utfbytes:
print b, repr(b)
uni = utfbytes.decode('utf-8')
print uni, len(uni)
输出
© ® ™ 9
� '\xc2'
� '\xa9'
' '
� '\xc2'
� '\xae'
' '
� '\xe2'
� '\x84'
� '\xa2'
© ® ™ 5
Stack Overflow的联合创始人Joel Spolsky写了一篇关于Unicode的好文章：绝对必要：每个软件开发者都必须知道的有关Unicode和字符集的最低限度（无任何借口！）
你还应该查看Python文档中的 Unicode HOWTO 文章，以及Ned Batchelder的 务实的Unicode 文章，也称为“Unipain”。
这是一个从UTF-8编码的字节串中提取单个字符的简短示例。正如我在评论中提到的那样，要正确地执行此操作，您需要知道每个字符编码为多少个字节。
utfbytes = "\xc2\xa9 \xc2\xae \xe2\x84\xa2"
widths = (2, 1, 2, 1, 3)
start = 0
for w in widths:
print "%d %d [%s]" % (start, w, utfbytes[start:start+w])
start += w
输出
0 2 [©]
2 1 [ ]
3 2 [®]
5 1 [ ]
6 3 [™]
顺带一提，这是那段代码的Python 3版本：
utfbytes = b"\xc2\xa9 \xc2\xae \xe2\x84\xa2"
widths = (2, 1, 2, 1, 3)
start = 0
for w in widths:
s = utfbytes[start:start+w]
print("%d %d [%s]" % (start, w, s.decode()))
start += w
如果我们不知道UTF-8字符串中字符的字节宽度，那么我们需要做更多的工作。每个UTF-8序列在第一个字节中编码了序列的宽度，如维基百科关于UTF-8的文章所述。
以下Python 2演示展示了如何提取该宽度信息; 它产生与前两个代码片段相同的输出。
# UTF-8 code widths
#width starting byte
#1 0xxxxxxx
#2 110xxxxx
#3 1110xxxx
#4 11110xxx
#C 10xxxxxx
def get_width(b):
if b <= '\x7f':
return 1
elif '\x80' <= b <= '\xbf':
#Continuation byte
raise ValueError('Bad alignment: %r is a continuation byte' % b)
elif '\xc0' <= b <= '\xdf':
return 2
elif '\xe0' <= b <= '\xef':
return 3
elif '\xf0' <= b <= '\xf7':
return 4
else:
raise ValueError('%r is not a single byte' % b)
utfbytes = b"\xc2\xa9 \xc2\xae \xe2\x84\xa2"
start = 0
while start < len(utfbytes):
b = utfbytes[start]
w = get_width(b)
s = utfbytes[start:start+w]
print "%d %d [%s]" % (start, w, s)
start += w
通常情况下，不应该需要这样做：只需使用提供的解码方法即可。
对于好奇的人，这里有一个Python 3版本的get_width函数，以及一个手动解码UTF-8字节串的函数。
def get_width(b):
if b <= 0x7f:
return 1
elif 0x80 <= b <= 0xbf:
#Continuation byte
raise ValueError('Bad alignment: %r is a continuation byte' % b)
elif 0xc0 <= b <= 0xdf:
return 2
elif 0xe0 <= b <= 0xef:
return 3
elif 0xf0 <= b <= 0xf7:
return 4
else:
raise ValueError('%r is not a single byte' % b)
def decode_utf8(utfbytes):
start = 0
uni = []
while start < len(utfbytes):
b = utfbytes[start]
w = get_width(b)
if w == 1:
n = b
else:
n = b & (0x7f >> w)
for b in utfbytes[start+1:start+w]:
if not 0x80 <= b <= 0xbf:
raise ValueError('Not a continuation byte: %r' % b)
n <<= 6
n |= b & 0x3f
uni.append(chr(n))
start += w
return ''.join(uni)
utfbytes = b'\xc2\xa9 \xc2\xae \xe2\x84\xa2'
print(utfbytes.decode('utf8'))
print(decode_utf8(utfbytes))
输出
© ® ™
© ® ™
utfbytes.decode(' utf-8')之后，当我通过utfbytes[1]引用第二个字符时，它能正确识别“a”吗？ - Lin Mautfbytes[1] 时，a 能够正确输出，只是为了确认我的理解是正确的。谢谢。 - Lin Mautfbytes这样的字符串索引操作很棘手，除非你知道组件的字节大小。顺便说一下，Python 3中的Unicode处理通常比Python 2更好（也更少令人困惑）。 - PM 2Ring要将Unicode字符串输出到文件或控制台，您需要选择文本编码。在Python中，默认的文本编码是ASCII，但为了支持其他字符，您需要使用不同的编码，例如UTF-8：
s = unicode(your_object).encode('utf8')
print s
content 替换 your_object 吗？ - Lin Ma
打印内容，这应该证明它支持UTF-8字符集。问题只在我打印content[i]时发生。如果您有任何想法，将会非常棒。 - Lin Ma打印内容，这应该证明它支持UTF-8字符集。问题只会发生在我打印content[i]时。如果您有任何想法，那就太好了。 - Lin Ma