我正在使用mysql 5.1服务器的utf8字符集mysql表,该服务器不支持表中的utf8mb4编码。 当插入4字节编码的utf8字符时,例如"","","","","","唧",""
。 表格将弹出错误或跳过以下文本。
如何在PHP中以编程方式检测4字节编码的utf8字符并替换它们?
以下正则表达式将替换4字节UTF-8字符:
function replace4byte($string, $replacement = '') {
return preg_replace('%(?:
\xF0[\x90-\xBF][\x80-\xBF]{2} # planes 1-3
| [\xF1-\xF3][\x80-\xBF]{3} # planes 4-15
| \xF4[\x80-\x8F][\x80-\xBF]{2} # plane 16
)%xs', $replacement, $string);
}
var_dump(replace4byte('d'), replace4byte('dd'));
这不依赖于/u
修饰符,所以您不需要担心PCRE编译时的UTF-8。但是,如果您具有该支持,则deceze的preg_replace_callback
更整洁。
(正则表达式改编自确保PHP中的有效UTF-8)
这应该可以运作:
if (max(array_map('ord', str_split($string))) >= 240)
之所以如此是因为码点到U+FFFF的代码点被编码为形如1110xxxx 10xxxxxx 10xxxxxx
的三个字节。更高的代码点具有11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
的形式,即最高字节的值为240或更高。如果字符串中存在任何这样的字节,则表示它是4字节序列的指示器。
如果您想要删除长字符,可以使用以下方法:
preg_replace_callback('/./u', function (array $match) {
return strlen($match[0]) >= 4 ? null : $match[0];
}, $string)
虽然可能有更优雅的正则表达式方式来直接表示高代码点。
strlen($char)== 4
。不确定这是否是检测MySQL无法处理的字符的正确方法,根据代码点可能更准确一些。 - deceze