使用Python脚本将MySQL导出为UTF-8格式的CSV文件

Question

我可以通过Python的csv模块将MySQL表导出为CSV文件，但没有utf-8字符。（例如：????而不是ąöę）。

表数据采用utf-8格式（phpMyAdmin允许我查看正确的数据）。

我发现有些信息称在Python中，所有数据都应该解码成utf-8，然后通过例如unicodewritter编码成utf-8并写入CSV文件（因为本地csv模块不能正确支持Unicode）。

我尝试了很多次，但没有成功。

问题：是否有示例脚本可以在Python中以utf-8格式将MySQL数据库导出为CSV文件？

我使用ubuntu 14.04，mysql.connector存在问题，所以我使用带有Gord Thompson代码的MySQLdb：

# -*- coding: utf-8 -*-
import csv
import MySQLdb
from UnicodeSupportForCsv import UnicodeWriter
import sys
reload(sys)  
sys.setdefaultencoding('utf8')
#sys.setdefaultencoding('Cp1252')

conn = MySQLdb.Connection(db='sampledb', host='localhost',           
user='sampleuser', passwd='samplepass')

crsr = conn.cursor()
crsr.execute("SELECT * FROM rfid")
with open(r'test.csv', 'wb') as csvfile:
    uw = UnicodeWriter(
    csvfile, delimiter=',',
    quotechar='"', quoting=csv.QUOTE_MINIMAL)
for row in crsr.fetchall():
    uw.writerow([unicode(col) for col in row])

错误仍然存在：UnicodeDecodeError：'utf8'编解码器无法解码第2个字节的0xf3：无效的续行字节

- AvS

---

你尝试过使用在csv模块文档页面底部展示的UnicodeWriter类吗？我在Python 2.7中使用过它，对我来说效果很好。 - Gord Thompson

感谢您的快速回复，Gord Thompson。我尝试使用UnicodeWritter，但在mysql中没有成功。似乎需要一些函数来解码utf8 sql查询，然后再写入csv。您能告诉我是否正在将此类与mysql utf8 DB一起使用吗？ - AvS

Answer 1

MySQL在字符集转换方面表现出色。但是，您需要告诉它使用正确的排序规则来设置连接。

默认情况下，它返回存入数据库的方式。请将所需的字符集添加到连接中：

conn = MySQLdb.Connection(db='sampledb', host='localhost',           
user='sampleuser', passwd='samplepass', charset='utf-8', )

这对您有帮助吗？

- Prikkeldraad

Answer 2

这对我来说可行，使用Python 2.7.5和MySQL Connector/Python 2.0.4：

# -*- coding: utf-8 -*-
import csv
import mysql.connector
from UnicodeSupportForCsv import UnicodeWriter

conn = mysql.connector.connect(
    host='localhost', port=3307,
    user='root', password='whatever',
    database='mydb')
crsr = conn.cursor()
crsr.execute("SELECT * FROM vocabulary")
with open(r'C:\Users\Gord\Desktop\test.csv', 'wb') as csvfile:
    uw = UnicodeWriter(
        csvfile, delimiter=',',
        quotechar='"', quoting=csv.QUOTE_MINIMAL)
    for row in crsr.fetchall():
        uw.writerow([unicode(col) for col in row])

< p > UnicodeWriter 类是直接从 csv模块文档页面 上的最后一个示例中提取的，我将其存储在名为“UnicodeSupportForCsv.py”的文件中：

import csv, codecs, cStringIO

class UTF8Recoder:
    """
    Iterator that reads an encoded stream and reencodes the input to UTF-8
    """
    def __init__(self, f, encoding):
        self.reader = codecs.getreader(encoding)(f)

    def __iter__(self):
        return self

    def next(self):
        return self.reader.next().encode("utf-8")

class UnicodeReader:
    """
    A CSV reader which will iterate over lines in the CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        f = UTF8Recoder(f, encoding)
        self.reader = csv.reader(f, dialect=dialect, **kwds)

    def next(self):
        row = self.reader.next()
        return [unicode(s, "utf-8") for s in row]

    def __iter__(self):
        return self

class UnicodeWriter:
    """
    A CSV writer which will write rows to CSV file "f",
    which is encoded in the given encoding.
    """

    def __init__(self, f, dialect=csv.excel, encoding="utf-8", **kwds):
        # Redirect output to a queue
        self.queue = cStringIO.StringIO()
        self.writer = csv.writer(self.queue, dialect=dialect, **kwds)
        self.stream = f
        self.encoder = codecs.getincrementalencoder(encoding)()

    def writerow(self, row):
        self.writer.writerow([s.encode("utf-8") for s in row])
        # Fetch UTF-8 output from the queue ...
        data = self.queue.getvalue()
        data = data.decode("utf-8")
        # ... and reencode it into the target encoding
        data = self.encoder.encode(data)
        # write to the target stream
        self.stream.write(data)
        # empty queue
        self.queue.truncate(0)

    def writerows(self, rows):
        for row in rows:
            self.writerow(row)

- Gord Thompson

---

我使用的是Ubuntu 14.04，mysql.connector存在问题，因此我使用MySQLdb来运行您的代码： - AvS

Answer 3

试试这个..让你更轻松

https://github.com/jdunck/python-unicodecsv

unicodecsv 是 Python 2.7 的 csv 模块的替代品，支持无需麻烦地处理 Unicode 字符串。支持的版本包括 Python 2.6、2.7、3.3、3.4、3.5 和 pypy 2.4.0。

>>> import unicodecsv as csv
>>> from io import BytesIO
>>> f = BytesIO()
>>> w = csv.writer(f, encoding='utf-8')
>>> _ = w.writerow((u'é', u'ñ'))
>>> _ = f.seek(0)
>>> r = csv.reader(f, encoding='utf-8')
>>> next(r) == [u'é', u'ñ']
True

- Murali Mopuru

---

虽然这个链接可能回答了问题，但最好在此处包含答案的基本部分并提供参考链接。如果链接页面更改，仅链接的答案可能会失效。- 来自审查 - Remi Guan

@Kevin，现在你开心了吗？ - Murali Mopuru

嘿，感谢您的编辑。它确实改善了您的答案！现在人们可以在阅读您的帖子时立即开始编码，而不必转到另一个网站。谢谢！ - Kyll

@MuraliMopuru：很可能是的。我没有投反对票。不过，现在这个回答变得真正有用了。感谢编辑。 - Remi Guan

@MuraliMopuru：但是，您的编辑只是添加了该模块基本用法的示例。那么，是否可以根据OP的问题和程序添加可工作的代码呢？我认为这将更有帮助。 - Remi Guan

我不确定这是否是MySQL连接的好解决方案。我认为对于文件来说，unicodecsv更好。 - AvS

Answer 4

终于成功了！感谢：Gord Thompson和Prikkeldraad。 谢谢你们！

# -*- coding: utf-8 -*-
import csv
import MySQLdb
from UnicodeSupportForCsv import UnicodeWriter
import sys
reload(sys)  
sys.setdefaultencoding('utf8')
#sys.setdefaultencoding('Cp1252')

conn = MySQLdb.Connection(db='testdb', host='localhost', user='testuser', passwd='testpasswd', use_unicode=0,charset='utf8')

crsr = conn.cursor()
crsr.execute("SELECT * FROM rfid")

with open(r'test.csv', 'wb') as csvfile:
    uw = UnicodeWriter(
        csvfile, delimiter=',',quotechar='"', quoting=csv.QUOTE_MINIMAL)

    for row in crsr.fetchall():
        uw.writerow([unicode(col) for col in row])

- AvS

---

一个代码块本身并不能提供一个好的答案。请添加解释（为什么它解决了问题，哪里出错了等等...） - Louis Barranqueiro

@LouisBarranqueiro：不，这是OP发布的感谢评论。请查看Gord的答案。 - Remi Guan