您需要类似这样的内容(假设输入为UTF-8,并忽略CJK(中文,日文,韩文)):
$chr_map = array(
// Windows codepage 1252
"\xC2\x82" => "'", // U+0082⇒U+201A single low-9 quotation mark
"\xC2\x84" => '"', // U+0084⇒U+201E double low-9 quotation mark
"\xC2\x8B" => "'", // U+008B⇒U+2039 single left-pointing angle quotation mark
"\xC2\x91" => "'", // U+0091⇒U+2018 left single quotation mark
"\xC2\x92" => "'", // U+0092⇒U+2019 right single quotation mark
"\xC2\x93" => '"', // U+0093⇒U+201C left double quotation mark
"\xC2\x94" => '"', // U+0094⇒U+201D right double quotation mark
"\xC2\x9B" => "'", // U+009B⇒U+203A single right-pointing angle quotation mark
// Regular Unicode // U+0022 quotation mark (")
// U+0027 apostrophe (')
"\xC2\xAB" => '"', // U+00AB left-pointing double angle quotation mark
"\xC2\xBB" => '"', // U+00BB right-pointing double angle quotation mark
"\xE2\x80\x98" => "'", // U+2018 left single quotation mark
"\xE2\x80\x99" => "'", // U+2019 right single quotation mark
"\xE2\x80\x9A" => "'", // U+201A single low-9 quotation mark
"\xE2\x80\x9B" => "'", // U+201B single high-reversed-9 quotation mark
"\xE2\x80\x9C" => '"', // U+201C left double quotation mark
"\xE2\x80\x9D" => '"', // U+201D right double quotation mark
"\xE2\x80\x9E" => '"', // U+201E double low-9 quotation mark
"\xE2\x80\x9F" => '"', // U+201F double high-reversed-9 quotation mark
"\xE2\x80\xB9" => "'", // U+2039 single left-pointing angle quotation mark
"\xE2\x80\xBA" => "'", // U+203A single right-pointing angle quotation mark
);
$chr = array_keys ($chr_map); // but: for efficiency you should
$rpl = array_values($chr_map); // pre-calculate these two arrays
$str = str_replace($chr, $rpl, html_entity_decode($str, ENT_QUOTES, "UTF-8"));
以下是背景信息:
每个Unicode字符都属于且仅属于一个"通用类别",其中可以包含引号字符的是以下几种:
这些页面对于检查是否漏掉了什么很有用 - 还有一个分类索引。
有时在启用Unicode的正则表达式中匹配这些类别是很有用的。
此外,Unicode字符具有"属性",你感兴趣的是Quotation_Mark
。不幸的是,这些在正则表达式中是无法访问的。
在维基百科上,你可以找到具有Quotation_Mark
属性的字符组。最终参考资料是unicode.org上的PropList.txt,但这是一个ASCII文本文件。
如果您需要翻译CJK字符,只需获取它们的码点、确定其翻译并找到其UTF-8编码即可,例如通过在fileformat.info中查找(例如对于U+301E:
http://www.fileformat.info/info/unicode/char/301e/index.htm)。
关于Windows代码页1252:
Unicode定义前256个码点表示与
ISO-8859-1完全相同的字符,但ISO-8859-1经常与
Windows代码页1252混淆,因此所有浏览器都将范围0x80-0x9F(在ISO-8859-1中为“空”(更确切地说:它包含控制字符))呈现为Windows代码页1252。
维基百科页面中的表格列出了Unicode等效项。
注意:
strtr()
通常比
str_replace()
慢。请根据您的输入和PHP版本计时。如果速度足够快,您可以直接使用像我的
$chr_map
这样的映射。
如果您不确定输入是否为UTF-8编码,并且愿意假设如果不是,则为ISO-8859-1或Windows代码页1252,则可以在任何其他操作之前执行此操作:
if ( !preg_match('/^\\X*$/u', $str)) {
$str = utf8_encode($str);
}
警告:这个正则表达式在极少数情况下可能无法检测到非UTF-8编码。例如:"Gruß…"/*CP-1252*/=="Gru\xDF\x85"
看起来像是UTF-8,但在这个正则表达式中无法检测出来(U+07C5是N'ko数字5)。这个正则表达式可以稍微改进,但不幸的是,我们不能完全解决编码检测问题。
如果您想将来自Windows代码页1252的0x80-0x9F范围规范化为常规Unicode代码点,则可以执行此操作(并删除上面
$chr_map
的第一部分):
$normalization_map = array(
"\xC2\x80" => "\xE2\x82\xAC", // U+20AC Euro sign
"\xC2\x82" => "\xE2\x80\x9A", // U+201A single low-9 quotation mark
"\xC2\x83" => "\xC6\x92", // U+0192 latin small letter f with hook
"\xC2\x84" => "\xE2\x80\x9E", // U+201E double low-9 quotation mark
"\xC2\x85" => "\xE2\x80\xA6", // U+2026 horizontal ellipsis
"\xC2\x86" => "\xE2\x80\xA0", // U+2020 dagger
"\xC2\x87" => "\xE2\x80\xA1", // U+2021 double dagger
"\xC2\x88" => "\xCB\x86", // U+02C6 modifier letter circumflex accent
"\xC2\x89" => "\xE2\x80\xB0", // U+2030 per mille sign
"\xC2\x8A" => "\xC5\xA0", // U+0160 latin capital letter s with caron
"\xC2\x8B" => "\xE2\x80\xB9", // U+2039 single left-pointing angle quotation mark
"\xC2\x8C" => "\xC5\x92", // U+0152 latin capital ligature oe
"\xC2\x8E" => "\xC5\xBD", // U+017D latin capital letter z with caron
"\xC2\x91" => "\xE2\x80\x98", // U+2018 left single quotation mark
"\xC2\x92" => "\xE2\x80\x99", // U+2019 right single quotation mark
"\xC2\x93" => "\xE2\x80\x9C", // U+201C left double quotation mark
"\xC2\x94" => "\xE2\x80\x9D", // U+201D right double quotation mark
"\xC2\x95" => "\xE2\x80\xA2", // U+2022 bullet
"\xC2\x96" => "\xE2\x80\x93", // U+2013 en dash
"\xC2\x97" => "\xE2\x80\x94", // U+2014 em dash
"\xC2\x98" => "\xCB\x9C", // U+02DC small tilde
"\xC2\x99" => "\xE2\x84\xA2", // U+2122 trade mark sign
"\xC2\x9A" => "\xC5\xA1", // U+0161 latin small letter s with caron
"\xC2\x9B" => "\xE2\x80\xBA", // U+203A single right-pointing angle quotation mark
"\xC2\x9C" => "\xC5\x93", // U+0153 latin small ligature oe
"\xC2\x9E" => "\xC5\xBE", // U+017E latin small letter z with caron
"\xC2\x9F" => "\xC5\xB8", // U+0178 latin capital letter y with diaeresis
);
$chr = array_keys ($normalization_map); // but: for efficiency you should
$rpl = array_values($normalization_map); // pre-calculate these two arrays
$str = str_replace($chr, $rpl, $str);
$string = html_entity_decode(iconv('utf-8', 'utf-8', $string));
。 - Xeoncross€
到Ÿ
(€
到ÿ
)内的字符引用会被Web浏览器解码为具有相同编号的Windows代码页1252代码单元的字符,而不是像您期望的那样是U+0080到U+00FF的字符。PHP不会复制这个历史怪癖,并将在字符串中保留这些格式不正确的引用的和号序列。 - bobince