我有一个应用程序需要处理来自世界各地的客户数据，因此我希望数据库中的所有内容都采用UTF-8编码。
对我而言，主要问题是我不知道任何字符串来源的编码方式 - 它可能来自文本框（使用<form accept-charset="utf-8"> 只有在用户实际提交表单时才有用），或者它可能来自上传的文本文件，所以我无法控制输入。
我需要的是一个函数或类，可以确保进入我的数据库的内容尽可能采用UTF-8编码。我尝试过 iconv(mb_detect_encoding($text), "UTF-8", $text); 但这有些问题（如果输入是'fiancée'，它会返回'fianc'）。我已经尝试了很多方法 =/
对于文件上传，我喜欢让最终用户指定他们使用的编码方式，并显示输出的预览，但这并不能防范恶意黑客（事实上，这可能会让他们的生活更加轻松）。
我已经阅读了其他关于此问题的Stack Overflow问题，但它们似乎都有微妙的差别，例如“我需要解析RSS源”或“我从网站上提取数据”（或者，“你不行”）。
但至少有些东西可以好好“尝试”吧！
你所要求的内容非常困难。如果可能，最好让用户指定编码方式。这样预防攻击应该不会变得更加容易或更加困难。
不过，你可以尝试以下方法：
iconv(mb_detect_encoding($text, mb_detect_order(), true), "UTF-8", $text);
将其设置为 strict 可能有助于获得更好的结果。
mb_detect_encoding函数的源代码（可能在这里：ext/mbstring/libmbfl/mbfl/mbfl_ident.c）。该函数根本无法正常工作。对于某些编码，它甚至会返回"true"，哈哈。其他编码则使用Ctrl+c Ctrl+v函数。这是因为您无法在没有某种字典或统计方法（如我的方法）的情况下检测编码。 - Oroboros102mb_detect_encoding会遍历提供的编码列表，并接受第一个在字符串中没有无效字节序列的编码... 对于那些没有无效字节序列的编码，如ISO-8859-1，它总是正确的。没有“智能”启发式算法，结果因传递的编码列表（及其顺序）而大不相同。 - wutzmb_detect_order()，尽管这是该参数的默认值，因为他想将严格编码检测设置为true（第三个参数）:) - jave.webiconv() 命令，然后在编码文本上运行 mb_detect_encoding($encoded_text, mb_detect_order(), true)，我仍然得到 ASCII，而 iconv() 命令应该已经将其编码为 UTF-8... - kregus在祖国俄罗斯，我们有四种流行的编码方式，因此您的问题在这里备受欢迎。
仅凭符号的字符代码无法检测编码方式，因为编码页相互交叉。不同语言中的一些编码页甚至完全相交。因此，我们需要另一种方法。
处理未知编码方式的唯一方法是使用概率进行处理。因此，我们不想回答“这个文本的编码方式是什么？”，我们试图理解“这个文本最可能的编码方式是什么？”
在一个流行的俄罗斯技术博客中，有一个人发明了这种方法：
建立每种支持的编码方式中字符代码的概率范围。您可以使用您语言中的一些大型文本（例如某些小说，对于英语使用莎士比亚，对于俄语使用托尔斯泰，哈哈）。您将得到类似于以下内容：
encoding_1:
190 => 0.095249209893009,
222 => 0.095249209893009,
...
encoding_2:
239 => 0.095249209893009,
207 => 0.095249209893009,
...
encoding_N:
charcode => probabilty
接下来，你需要处理一个未知编码的文本，并针对你的“概率字典”中的每种编码搜索未知编码文本中每个符号的频率。将符号的概率相加。得分更高的编码很可能是获胜者。对于更长的文本，结果会更好。
顺便说一句，mb_detect_encoding 绝对不起作用。 这真的是事实。请查看“ext/mbstring/libmbfl/mbfl/mbfl_ident.c”中的 mb_detect_encoding 源代码。
可以直接使用mb_convert_encoding函数。它将尝试自动检测文本的字符集，或者您可以传递一个列表。
另外，我尝试运行：
$text = "fiancée";
echo mb_convert_encoding($text, "UTF-8");
echo "<br/><br/>";
echo iconv(mb_detect_encoding($text), "UTF-8", $text);
结果对于两者都是相同的。
iconv。我试过几乎纯粹使用 mb_* 的方式。你认为呢？ - Anthony Rutledge没有一种方法可以准确地识别字符串的字符集。
有一些尝试猜测字符集的方法。其中一种方法，也许是PHP中最好的方法，是mb_detect_encoding。这将扫描您的字符串并查找特定于某些字符集的内容。根据您的字符串，可能没有这样可区分的内容。
只有少量不同的字符，更糟糕的是，它们由相同的字节表示。如果没有知道该字符串的编码方式，就无法确定给定一个字符串中的字节0xA4是表示¤还是€，因此无法知道其精确的字符集。
（注意：您可以添加人为因素，或者更高级的扫描技术（例如Oroboros102建议的），以尝试根据周围环境确定字符应该是¤还是€，但这似乎过于超前。）尝试检测编码：$encodings = ['UTF-8', 'ISO-8859-1', 'ASCII'];
如果无法检测到编码，则throw new RuntimeException
如果输入是UTF-8，则继续。
否则，如果输入是ISO-8859-1或者ASCII
a. 尝试转换为 UTF-8（等待，未完成）
b. 检测转换后值的编码
c. 如果报告的编码和转换后的值都是UTF-8，则继续。
d. 否则，throw new RuntimeException
来自我的抽象类Sanitizer
private function isUTF8($encoding, $value)
{
return (($encoding === 'UTF-8') && (utf8_encode(utf8_decode($value)) === $value));
}
private function utf8tify(&$value)
{
$encodings = ['UTF-8', 'ISO-8859-1', 'ASCII'];
mb_internal_encoding('UTF-8');
mb_substitute_character(0xfffd); //REPLACEMENT CHARACTER
mb_detect_order($encodings);
$stringEncoding = mb_detect_encoding($value, $encodings, true);
if (!$stringEncoding) {
$value = null;
throw new \RuntimeException("Unable to identify character encoding in sanitizer.");
}
if ($this->isUTF8($stringEncoding, $value)) {
return;
} else {
$value = mb_convert_encoding($value, 'UTF-8', $stringEncoding);
$stringEncoding = mb_detect_encoding($value, $encodings, true);
if ($this->isUTF8($stringEncoding, $value)) {
return;
} else {
$value = null;
throw new \RuntimeException("Unable to convert character encoding from ISO-8859-1, or ASCII, to UTF-8 in Sanitizer.");
}
}
return;
}
有人可能会认为我应该将编码问题与我的抽象Sanitizer类分开，并简单地将一个Encoder对象注入到Sanitizer的具体子实例中。然而，我这种方法的主要问题在于，缺乏更多的知识，我只是拒绝我不想要的编码类型（我依赖于PHP mb_*函数）。没有进一步的研究，我无法知道这是否会对某些人口造成伤害或者是否会失去重要信息。因此，我需要学习更多。我发现了这篇文章。
$connection = new mysqli($server, $user, $pass, $db);
$connection->set_charset("utf8");
由于UTF-8的使用非常普遍，您可以将其视为默认值，如果不是，则尝试猜测并转换编码。以下是代码：
function make_utf8(string $string)
{
// Test it and see if it is UTF-8 or not
$utf8 = \mb_detect_encoding($string, ["UTF-8"], true);
if ($utf8 !== false) {
return $string;
}
// From now on, it is a safe assumption that $string is NOT UTF-8-encoded
// The detection strictness (i.e. third parameter) is up to you
// You may set it to false to return the closest matching encoding
$encoding = \mb_detect_encoding($string, mb_detect_order(), true);
if ($encoding === false) {
throw new \RuntimeException("String encoding cannot be detected");
}
return \mb_convert_encoding($string, "UTF-8", $encoding);
}
简单、安全、快速。
!== false而不是=== true？ - Grim...\mb_detect_encoding()的返回类型在这种情况下是string|false（即string或false），它永远不可能等于true。也许你现在正在使用一种强类型语言编写代码。 ;) - MAChitgarhaif (!$utf8)，因为我有点懒 :-) - Grim...有几个相关的库。onnov/detect-encoding 看起来很有前途。它声称比 mb_detect_encoding 做得更好。
将未知字符编码的字符串转换为 UTF-8 的示例用法：
use Onnov\DetectEncoding\EncodingDetector;
$detector->iconvXtoEncoding('Проверяемый текст')
简单检测编码：
$encoding = $detector->getEncoding('Проверяемый текст');
你可以设置一组指标来猜测使用的编码方式。虽然不完美，但它可以捕捉到 mb_detect_encoding() 无法识别的一些情况。
mb_detect_encoding()的缺陷，你认为我的回答在撒哈拉沙漠的夏天有雪球的机会吗？ - Anthony Rutledge