在MySQL中检测UTF8损坏的字符

Question

在MySQL中检测UTF8损坏的字符

50

我有一个数据库，其中散布着许多损坏的UTF8字符，分散在几个表中。

据我所知，这些字符的列表不是很广泛（例如áéíúóÁÉÍÓÚÑñ）。

修复单个表格非常简单。

update orderItem set itemName=replace(itemName,'Ã¡','á');

但是我无法找到检测出损坏字符的方法。如果我进行以下操作：

SELECT * FROM TABLE WHERE field LIKE "%Ã%";

由于排序规则（Ã=a），我几乎获得了所有字段。到目前为止，所有损坏的字符都以“Ã”开头。数据库是用西班牙语编写的，因此这个特定的字符不会被使用。

我目前获得的损坏字符列表如下：

Ã¡ = á
Ã© = é
Ã- = í
Ã³ = ó
Ã± = ñ
Ã¡ = Á

有什么办法可以使这个SELECT按预期工作吗？（二分查找或类似的方法）

- The Disintegrator

你确定你正在使用UTF-8吗？那些“损坏的字符”似乎是你正在使用ISO 8859-1解释UTF-8编码数据。因为字符á在UTF-8中被编码为0xC3A1，而在ISO 8859-1中表示字符Ã和¡。 - Gumbo

7

不要看我。我的工作是修复这个数据库。我没有弄坏它。 - The Disintegrator

这被称为“乱码”，并在此处进行了讨论。 - Rick James

17个回答

41

UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¡','á');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¤','ä');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã³','ó');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ãº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã±','ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í‘','Ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã','í');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â€“','–');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€™','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¦','...');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€“','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€œ','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€˜','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¢','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¡','c');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Â','');

- Raúl Avila Solano

用像Perl这样的脚本语言处理.sql文件并替换所有“错误”的字符怎么样？在Perl中，可以轻松地使用类似以下代码完成：$content =~ s/Ã¡/á/g; 重复相同的句子以处理其余字符。$content是存储整个文件的字符串。 - Diego Pino

1

这对我很有用，尽管我的字符集完全不同，所以必须使用Adam Lynch的技巧(https://dev59.com/9nM_5IYBdhLWcg3wNwMv#6112241)手动处理每个字符。只需要运行409次查询，“所以我做到了这一点，这很好”。 - Mohd Abdul Mujib

我已经尝试了几周使用更全面的方法从其他数据源更新多个表格，但这是迄今为止最简单的。谢谢！今天我自己整理了这些信息。 - hellodaniel

23

感谢您的回答！

我使用这个方法修复了我的表格，并想分享完整的更改列表。请注意，除了拉丁字符外，它还包括修复html解码字符。真的很混乱：

(如果您需要更多转换，请查看https://www.utf8-chartable.de/unicode-utf8-table.pl)

update `table` set `field` = replace(`field`, 'â€', '"');
update `table` set `field` = replace(`field`, 'â€“', '–');
update `table` set `field` = replace(`field`, 'â€¢', '-');
update `table` set `field` = replace(`field`, 'â€œ', '"');

update `table` set `field` = replace(`field`, 'Â¡', '¡');
update `table` set `field` = replace(`field`, 'Â¢', '¢');
update `table` set `field` = replace(`field`, 'Â£', '£');
update `table` set `field` = replace(`field`, 'Â¤', '¤');
update `table` set `field` = replace(`field`, 'Â¥', '¥');
update `table` set `field` = replace(`field`, 'Â¦', '¦');
update `table` set `field` = replace(`field`, 'Â§', '§');
update `table` set `field` = replace(`field`, 'Â¨', '¨');
update `table` set `field` = replace(`field`, 'Â©', '©');
update `table` set `field` = replace(`field`, 'Âª', 'ª');
update `table` set `field` = replace(`field`, 'Â«', '«');
update `table` set `field` = replace(`field`, 'Â¬', '¬');
# This one looks like it's missing a character, but it's there. 0xad
update `table` set `field` = replace(`field`, 'Â', '');
update `table` set `field` = replace(`field`, 'Â®', '®');
update `table` set `field` = replace(`field`, 'Â¯', '¯');
update `table` set `field` = replace(`field`, 'Â°', '°');
update `table` set `field` = replace(`field`, 'Â±', '±');
update `table` set `field` = replace(`field`, 'Â²', '²');
update `table` set `field` = replace(`field`, 'Â³', '³');
update `table` set `field` = replace(`field`, 'Â´', '´');
update `table` set `field` = replace(`field`, 'Âµ', 'µ');
update `table` set `field` = replace(`field`, 'Â¶', '¶');
update `table` set `field` = replace(`field`, 'Â·', '·');
update `table` set `field` = replace(`field`, 'Â¸', '¸');
update `table` set `field` = replace(`field`, 'Â¹', '¹');
update `table` set `field` = replace(`field`, 'Âº', 'º');
update `table` set `field` = replace(`field`, 'Â»', '»');
update `table` set `field` = replace(`field`, 'Â¼', '¼');
update `table` set `field` = replace(`field`, 'Â½', '½');
update `table` set `field` = replace(`field`, 'Â¾', '¾');
update `table` set `field` = replace(`field`, 'Â¿', '¿');

update `table` set `field` = replace(`field`, 'Ã€', 'À');
# This one looks like it's missing a character, but it's there. 0x81
update `table` set `field` = replace(`field`, 'Ã', 'Á');
update `table` set `field` = replace(`field`, 'Ã‚', 'Â');
update `table` set `field` = replace(`field`, 'Ãƒ', 'Ã');
update `table` set `field` = replace(`field`, 'Ã„', 'Ä');
update `table` set `field` = replace(`field`, 'Ã…', 'Å');
update `table` set `field` = replace(`field`, 'Ã†', 'Æ');
update `table` set `field` = replace(`field`, 'Ã‡', 'Ç');
update `table` set `field` = replace(`field`, 'Ãˆ', 'È');
update `table` set `field` = replace(`field`, 'Ã‰', 'É');
update `table` set `field` = replace(`field`, 'ÃŠ', 'Ê');
update `table` set `field` = replace(`field`, 'Ã‹', 'Ë');
update `table` set `field` = replace(`field`, 'ÃŒ', 'Ì');
# This one looks like it's missing a character, but it's there. 0x8d
update `table` set `field` = replace(`field`, 'Ã', 'Í');
update `table` set `field` = replace(`field`, 'ÃŽ', 'Î');
# This one looks like it's missing a character, but it's there. 0x8f
update `table` set `field` = replace(`field`, 'Ã', 'Ï');
# This one looks like it's missing a character, but it's there. 0x90
update `table` set `field` = replace(`field`, 'Ã', 'Ð');
update `table` set `field` = replace(`field`, 'Ã‘', 'Ñ');
update `table` set `field` = replace(`field`, 'Ã’', 'Ò');
update `table` set `field` = replace(`field`, 'Ã“', 'Ó');
update `table` set `field` = replace(`field`, 'Ã”', 'Ô');
update `table` set `field` = replace(`field`, 'Ã•', 'Õ');
update `table` set `field` = replace(`field`, 'Ã–', 'Ö');
update `table` set `field` = replace(`field`, 'Ã—', '×');
update `table` set `field` = replace(`field`, 'Ã˜', 'Ø');
update `table` set `field` = replace(`field`, 'Ã™', 'Ù');
update `table` set `field` = replace(`field`, 'Ãš', 'Ú');
update `table` set `field` = replace(`field`, 'Ã›', 'Û');
update `table` set `field` = replace(`field`, 'Ãœ', 'Ü');
# This one looks like it's missing a character, but it's there. 0x9d
update `table` set `field` = replace(`field`, 'Ã', 'Ý');
update `table` set `field` = replace(`field`, 'Ãž', 'Þ');
update `table` set `field` = replace(`field`, 'ÃŸ', 'ß');
update `table` set `field` = replace(`field`, 'Ã ', 'à');
update `table` set `field` = replace(`field`, 'Ã¡', 'á');
update `table` set `field` = replace(`field`, 'Ã¢', 'â');
update `table` set `field` = replace(`field`, 'Ã£', 'ã');
update `table` set `field` = replace(`field`, 'Ã¤', 'ä');
update `table` set `field` = replace(`field`, 'Ã¥', 'å');
update `table` set `field` = replace(`field`, 'Ã¦', 'æ');
update `table` set `field` = replace(`field`, 'Ã§', 'ç');
update `table` set `field` = replace(`field`, 'Ã¨', 'è');
update `table` set `field` = replace(`field`, 'Ã©', 'é');
update `table` set `field` = replace(`field`, 'Ãª', 'ê');
update `table` set `field` = replace(`field`, 'Ã«', 'ë');
update `table` set `field` = replace(`field`, 'Ã¬', 'ì');
# This one looks like it's missing a character, but it's there. 0xad
update `table` set `field` = replace(`field`, 'Ã', 'í');
update `table` set `field` = replace(`field`, 'Ã®', 'î');
update `table` set `field` = replace(`field`, 'Ã¯', 'ï');
update `table` set `field` = replace(`field`, 'Ã°', 'ð');
update `table` set `field` = replace(`field`, 'Ã±', 'ñ');
update `table` set `field` = replace(`field`, 'Ã²', 'ò');
update `table` set `field` = replace(`field`, 'Ã³', 'ó');
update `table` set `field` = replace(`field`, 'Ã´', 'ô');
update `table` set `field` = replace(`field`, 'Ãµ', 'õ');
update `table` set `field` = replace(`field`, 'Ã¶', 'ö');
update `table` set `field` = replace(`field`, 'Ã·', '÷');
update `table` set `field` = replace(`field`, 'Ã¸', 'ø');
update `table` set `field` = replace(`field`, 'Ã¹', 'ù');
update `table` set `field` = replace(`field`, 'Ãº', 'ú');
update `table` set `field` = replace(`field`, 'Ã»', 'û');
update `table` set `field` = replace(`field`, 'Ã¼', 'ü');
update `table` set `field` = replace(`field`, 'Ã½', 'ý');
update `table` set `field` = replace(`field`, 'Ã¾', 'þ');
update `table` set `field` = replace(`field`, 'Ã¿', 'ÿ');

update `table` set `field` = replace(`field` ,'&ccedil;','ç');
update `table` set `field` = replace(`field` ,'&atilde;','ã');
update `table` set `field` = replace(`field` ,'&aacute;','á');
update `table` set `field` = replace(`field` ,'&acirc;','â');
update `table` set `field` = replace(`field` ,'&eacute;','é');
update `table` set `field` = replace(`field` ,'&iacute;','í');
update `table` set `field` = replace(`field` ,'&otilde;','õ');
update `table` set `field` = replace(`field` ,'&uacute;','ú');
update `table` set `field` = replace(`field` ,'&ccedil;','ç');
update `table` set `field` = replace(`field` ,'&Aacute;','Á');
update `table` set `field` = replace(`field` ,'&Acirc;','Â');
update `table` set `field` = replace(`field` ,'&Eacute;','É');
update `table` set `field` = replace(`field` ,'&Iacute;','Í');
update `table` set `field` = replace(`field` ,'&Otilde;','Õ');
update `table` set `field` = replace(`field` ,'&Uacute;','Ú');
update `table` set `field` = replace(`field` ,'&Ccedil;','Ç');
update `table` set `field` = replace(`field` ,'&Atilde;','Ã');
update `table` set `field` = replace(`field` ,'&Agrave;','À');
update `table` set `field` = replace(`field` ,'&Ecirc;','Ê');
update `table` set `field` = replace(`field` ,'&Oacute;','Ó');
update `table` set `field` = replace(`field` ,'&Ocirc;','Ô');
update `table` set `field` = replace(`field` ,'&Uuml;','Ü');
update `table` set `field` = replace(`field` ,'&atilde;','ã');
update `table` set `field` = replace(`field` ,'&agrave;','à');
update `table` set `field` = replace(`field` ,'&ecirc;','ê');
update `table` set `field` = replace(`field` ,'&oacute;','ó');
update `table` set `field` = replace(`field` ,'&ocirc;','ô');
update `table` set `field` = replace(`field` ,'&uuml;','ü');
update `table` set `field` = replace(`field` ,'&amp;','&');
update `table` set `field` = replace(`field` ,'&gt;','>');
update `table` set `field` = replace(`field` ,'&lt;','<');
update `table` set `field` = replace(`field` ,'&circ;','ˆ');
update `table` set `field` = replace(`field` ,'&tilde;','˜');
update `table` set `field` = replace(`field` ,'&uml;','¨');
update `table` set `field` = replace(`field` ,'&cute;','´');
update `table` set `field` = replace(`field` ,'&cedil;','¸');
update `table` set `field` = replace(`field` ,'&quot;','"');
update `table` set `field` = replace(`field` ,'&ldquo;','“');
update `table` set `field` = replace(`field` ,'&rdquo;','”');
update `table` set `field` = replace(`field` ,'&lsquo;','‘');
update `table` set `field` = replace(`field` ,'&rsquo;','’');
update `table` set `field` = replace(`field` ,'&lsaquo;','‹');
update `table` set `field` = replace(`field` ,'&rsaquo;','›');
update `table` set `field` = replace(`field` ,'&laquo;','«');
update `table` set `field` = replace(`field` ,'&raquo;','»');
update `table` set `field` = replace(`field` ,'&ordm;','º');
update `table` set `field` = replace(`field` ,'&ordf;','ª');
update `table` set `field` = replace(`field` ,'&ndash;','–');
update `table` set `field` = replace(`field` ,'&mdash;','—');
update `table` set `field` = replace(`field` ,'&macr;','¯');
update `table` set `field` = replace(`field` ,'&hellip;','…');
update `table` set `field` = replace(`field` ,'&brvbar;','¦');
update `table` set `field` = replace(`field` ,'&bull;','•');
update `table` set `field` = replace(`field` ,'&para;','¶');
update `table` set `field` = replace(`field` ,'&sect;','§');
update `table` set `field` = replace(`field` ,'&sup1;','¹');
update `table` set `field` = replace(`field` ,'&sup2;','²');
update `table` set `field` = replace(`field` ,'&sup3;','³');
update `table` set `field` = replace(`field` ,'&frac12;','½');
update `table` set `field` = replace(`field` ,'&frac14;','¼');
update `table` set `field` = replace(`field` ,'&frac34;','¾');
update `table` set `field` = replace(`field` ,'&#8539;','⅛');
update `table` set `field` = replace(`field` ,'&#8540;','⅜');
update `table` set `field` = replace(`field` ,'&#8541;','⅝');
update `table` set `field` = replace(`field` ,'&#8542;','⅞');
update `table` set `field` = replace(`field` ,'&gt;','>');
update `table` set `field` = replace(`field` ,'&lt;','<');
update `table` set `field` = replace(`field` ,'&plusmn;','±');
update `table` set `field` = replace(`field` ,'&minus;','−');
update `table` set `field` = replace(`field` ,'&times;','×');
update `table` set `field` = replace(`field` ,'&divide;','÷');
update `table` set `field` = replace(`field` ,'&lowast;','∗');
update `table` set `field` = replace(`field` ,'&frasl;','⁄');
update `table` set `field` = replace(`field` ,'&permil;','‰');
update `table` set `field` = replace(`field` ,'&int;','∫');
update `table` set `field` = replace(`field` ,'&sum;','∑');
update `table` set `field` = replace(`field` ,'&prod;','∏');
update `table` set `field` = replace(`field` ,'&radic;','√');
update `table` set `field` = replace(`field` ,'&infin;','∞');
update `table` set `field` = replace(`field` ,'&asymp;','≈');
update `table` set `field` = replace(`field` ,'&cong;','≅');
update `table` set `field` = replace(`field` ,'&prop;','∝');
update `table` set `field` = replace(`field` ,'&equiv;','≡');
update `table` set `field` = replace(`field` ,'&ne;','≠');
update `table` set `field` = replace(`field` ,'&le;','≤');
update `table` set `field` = replace(`field` ,'&ge;','≥');
update `table` set `field` = replace(`field` ,'&there4;','∴');
update `table` set `field` = replace(`field` ,'&sdot;','⋅');
update `table` set `field` = replace(`field` ,'&middot;','·');
update `table` set `field` = replace(`field` ,'&part;','∂');
update `table` set `field` = replace(`field` ,'&image;','ℑ');
update `table` set `field` = replace(`field` ,'&real;','ℜ');
update `table` set `field` = replace(`field` ,'&prime;','′');
update `table` set `field` = replace(`field` ,'&Prime;','″');
update `table` set `field` = replace(`field` ,'&deg;','°');
update `table` set `field` = replace(`field` ,'&ang;','∠');
update `table` set `field` = replace(`field` ,'&perp;','⊥');
update `table` set `field` = replace(`field` ,'&nabla;','∇');
update `table` set `field` = replace(`field` ,'&oplus;','⊕');
update `table` set `field` = replace(`field` ,'&otimes;','⊗');
update `table` set `field` = replace(`field` ,'&alefsym;','ℵ');
update `table` set `field` = replace(`field` ,'&oslash;','ø');
update `table` set `field` = replace(`field` ,'&Oslash;','Ø');
update `table` set `field` = replace(`field` ,'&isin;','∈');
update `table` set `field` = replace(`field` ,'&notin;','∉');
update `table` set `field` = replace(`field` ,'&cap;','∩');
update `table` set `field` = replace(`field` ,'&cup;','∪');
update `table` set `field` = replace(`field` ,'&sub;','⊂');
update `table` set `field` = replace(`field` ,'&sup;','⊃');
update `table` set `field` = replace(`field` ,'&sube;','⊆');
update `table` set `field` = replace(`field` ,'&supe;','⊇');
update `table` set `field` = replace(`field` ,'&exist;','∃');
update `table` set `field` = replace(`field` ,'&forall;','∀');
update `table` set `field` = replace(`field` ,'&empty;','∅');
update `table` set `field` = replace(`field` ,'&not;','¬');
update `table` set `field` = replace(`field` ,'&and;','∧');
update `table` set `field` = replace(`field` ,'&or;','∨');
update `table` set `field` = replace(`field` ,'&crarr;','↵');

- acseven

1

那是唯一对我有效的解决方案！二进制的方法不起作用，即使在SELECT中也是如此。谢谢！ - Lennon

2

这是一个很棒的列表，但排序有问题，因为例如当搜索 "•" 时，开头的部分 "â€" 已经被替换了。 - danielpunkass

17

没有通用的文本替换方案，因为您可能会忘记一些字符。针对双重转换字符的更适合的修复方法是：

转换回Latin1
转换为二进制
转换为UTF8

像这样：

alter table descriptions modify name VARCHAR(2000) character set latin1;
alter table descriptions modify name blob;
alter table descriptions modify name VARCHAR(2000) character set utf8;

- David

1

尽管现在我发现它没有完全工作。在三个alter table命令之后，包含“'”字符的文本被截断了。 :-( - e-motiv

这个答案对我很有效。我将一个简单的脚本添加到我的类集合中，可以针对数据库中的所有表执行此操作。指令可以在这里找到：http://www.os-cms.net/blog/view/34/Fix-utf8-broken-characters-in-MySQL 如果有人发现有用的话。 - dennis

这会截断包含非UTF-8字符的列数据，并将中文字符替换为问号 - 对于不想丢失数据的人来说，这不是一个好的解决方案。 - Satishakumar Awati

两步完成更短：

ALTER TABLE tbl MODIFY COLUMN col VARBINARY(111) NOT NULL; ALTER TABLE tbl MODIFY COLUMN col VARCHAR(111) CHARACTER SET utf8mb4 NOT NULL;

- Rick James

哇，这太棒了。省去了我很多麻烦。如果有一个脚本可以在数据库中的所有表格的所有varchar列上执行此操作，那就太好了。 - Kobulniczky Csongor

16

你需要的SELECT语句如下：

SELECT * FROM TABLE WHERE LENGTH(name) != CHAR_LENGTH(name);

这将返回所有包含多字节字符的行。

name被假设为一个字段或包含奇怪字符的字段。*

- Adam Lynch

16

这救了我的命

UPDATE ohp_posts SET post_content = CONVERT(CAST(CONVERT(post_content USING latin1) AS BINARY) USING utf8)

我在这里找到了http://stanis.net/2014/04/replacing-latin-1-with-utf-8-characters-in-mysql/

- Pablo S G Pacheco

你真是个天才！非常感谢！=） - Metafaniel

10

要不换一种方法，即通过来回转换列以获取正确的字符集？您可以将其转换为二进制，然后转换为utf-8，再转换为iso-8859-1或其他您正在使用的字符集。有关详细信息，请参见手册。

- wds

1

目的是最终得到一个UTF-8编码的数据库。现在编码和排序规则都是UTF-8通用的，但是使用该数据库的应用程序似乎将其解释为ISO8859。如果我来回转换，最终得到的数据将是相同的... - The Disintegrator

好的，仅仅进行反复转换并不能解决问题，字符仍然会破损。但是在二进制中，我可以查找“Ã”字符，从而实现检测破损字符的机制。谢谢。 - The Disintegrator

好的，我仍然相信一定有一种更通用的方法来使用转换机制，但可能比最初声明的要复杂。很高兴你找到了一个可行的解决方案。 - wds

如果在更改列类型时出错，可能会丢失数据。相反，使用UPDATE查询，您可以在事务中运行UPDATE查询，检查结果，并仅在确认无误后提交或回滚。 - dolmen

7

要将所有拉丁字符转换为正确的重音，请在MySQL上尝试以下操作：

UPDATE your_table SET your_column = CONVERT(CAST(CONVERT(your_column USING latin1) AS BINARY) USING utf8)

- Medhi

3

我也遇到了同样的问题，但不喜欢使用replace()解决方案，因为有可能会漏掉一些字符。我正在处理一个包含混合数据（某些已经utf8_encode()，某些未经处理）的列，大约有400万行数据，其中约250k条记录存在错误编码数据（带有Ã‰/等字符），涵盖15种国际语言，主要包括欧洲语言，以及俄语、日语和中文。

我开始通过复制该列来解决问题，因为我不想丢失任何数据：

ALTER TABLE images ADD COLUMN reptitle TEXT;

复制了所有带有多字节字符的数据（感谢Adam的提示）。

UPDATE images SET reptitle = title WHERE LENGTH(title) != CHAR_LENGTH(title)

由于reptitle是使用表的默认字符集创建的，因此已经是utf8格式，但包含了损坏的数据，因为images表曾经是拉丁源。列reptitle现在包含一些正确编码的数据和一些损坏的数据（所有具有多字节字符的值，其中一些已经正确地进行了utf8_encode()处理）。所以根据David的提示...

ALTER TABLE images MODIFY reptitle TEXT character set latin1;
ALTER TABLE images MODIFY reptitle BLOB;
ALTER TABLE images MODIFY reptitle TEXT character set utf8;

中间步骤可能是不必要的，因为文本和BLOB（我认为）是相同的。这样做的效果是纠正了所有错误编码的数据（例如'Ã©tudiantes'变成了'étudiantes'等），但以前正确的数据在第一个多字节字符处被截断了（'Lapin de Pâques' 变成了'Lapin de P'）。我不知道为什么会被截断，但它在一个临时列中，所以我并不关心。由于没有多字节字符剩余，所以被截断的数据给出CHAR_LENGTH和LENGTH相同的值，因此查询非常容易...

UPDATE images SET title = reptitle WHERE LENGTH(reptitle)!=CHAR_LENGTH(reptitle)

当然，只需要删除多余的列即可。

ALTER TABLE images DROP COLUMN reptitle

同时确保（由于我使用PHP，这个问题曾经让我遇到过几次，所以我想在这里提一下）你的所有脚本文件都是UTF8格式（无BOM），并且你正在使用：

mysql_set_charset('utf8', $connection);

完成了...数据完美修复，支持所有语言 :)

- Bob Davies

谢谢您提供的方法 - 添加列并将它们复制过去的方法很不错，而且像这样布局很有帮助。 - cincodenada

2

这也解决了我在一些意大利字符上的问题。

UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¡','á');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¤','ä');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã³','ó');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ãº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã±','ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í‘','Ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã','í');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â€“','–');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€™','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¦','...');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€“','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€œ','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€˜','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¢','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¡','c');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Â','');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í ','à');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í¨','è');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íˆ','È');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â‚¬','€');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'eÌ€','è');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í²','ò');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í¹','ù');

- Alberto

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Thales Ceolin · Accepted Answer

88

我修复了

UPDATE wp_zcs9ck_posts_copy SET post_title = 
    CONVERT(BINARY CONVERT(post_title USING latin1) USING utf8);

完美解决方案：http://jonisalonen.com/2012/fixing-doubly-utf-8-encoded-text-in-mysql/

- Thales Ceolin

4

请先备份您的数据库...... 这将删除我 wp_posts->post_content 字段中除第一个半句之外的所有内容！ - HandiworkNYC.com

对我也起作用了。考虑使用

SELECT name, CONVERT(BINARY CONVERT(name USING latin1) USING utf8) AS conv FROM table WHERE id IN (SELECT id FROM table WHERE LENGTH(name) != CHAR_LENGTH(name));

查找损坏的记录并在使用 UPDATE 前查看结果。 - Szymon Sadło

3

我在之前的评论中做了不必要的子查询。请使用以下语句代替：

SELECT name, CONVERT(BINARY CONVERT(name USING latin1) USING utf8) AS conv FROM table WHERE LENGTH(name) != CHAR_LENGTH(name)

。注意，这个语句不改变原始含义，只是更易于理解。 - Szymon Sadło

此答案适用于双重编码，而非简单的乱码。 - Rick James

我发现在更新之前检查CONVERT(BINARY CONVERT(bundle_display_name USING latin1) USING utf8)是否为非空有助于防止已经正确编码的值被破坏（使用length/char_length测试不起作用，因为"Ã©"将是3/1，但它的正确值"é"仍然是2/1）。 - GregOriol