我需要在Java中处理以下情况：
我从客户端以XML格式获取了一个请求，它声明使用utf-8编码。 不幸的是，它可能包含非utf-8字符，并且有要求在我的端上（遗留系统）删除这些字符。
让我们考虑一个包含 £ （英镑符号） 的无效 XML 的示例。
1）我得到带有 £ 的 java 字符串作为 xml（我现在没有接口访问权限，但我可能会获得 java 字符串形式的 xml）。 我可以使用 replaceAll(£, "") 来摆脱该字符吗？ 是否存在任何潜在问题？
2）我将 xml 作为字节数组获取 - 如何安全地处理此操作？
1）我得到的XML是一个带有"£"符号的Java字符串（我现在没有接口访问权限，但我可能会得到一个Java字符串）。我可以使用replaceAll("£", "")来去掉这个字符吗？
我假设你的意思是想要去掉非ASCII字符，因为你谈论了一个“旧版”的问题。你可以使用以下正则表达式来去掉可打印ASCII范围之外的任何内容：
string = string.replaceAll("[^\\x20-\\x7e]", "");
2) 我得到的XML是一个字节数组 - 在这种情况下如何安全处理此操作？
您需要使用ByteArrayInputStream将byte[]包装起来，以便您可以使用InputStreamReader读取它们的UTF-8编码字符流，在其中指定编码，然后使用BufferedReader逐行读取。
例如：
BufferedReader reader = null;
try {
reader = new BufferedReader(new InputStreamReader(new ByteArrayInputStream(bytes), "UTF-8"));
for (String line; (line = reader.readLine()) != null;) {
line = line.replaceAll("[^\\x20-\\x7e]", "");
// ...
}
// ...
UTF-8是一种编码方式；Unicode是一个字符集。但英镑符号绝对在Unicode字符集中，因此肯定可以用UTF-8表示。
如果您确实指的是UTF-8，并且您实际上正在尝试删除不是UTF-8中字符的有效编码的字节序列，则...
CharsetDecoder utf8Decoder = Charset.forName("UTF-8").newDecoder();
utf8Decoder.onMalformedInput(CodingErrorAction.IGNORE);
utf8Decoder.onUnmappableCharacter(CodingErrorAction.IGNORE);
ByteBuffer bytes = ...;
CharBuffer parsed = utf8Decoder.decode(bytes);
...
"test text".replaceAll("[^\\u0000-\\uFFFF]", "");
这段代码从字符串中删除所有的4字节UTF8字符。在进行Mysql innodb varchar输入时可能需要这样做。
在读取本地目录中的文件时，我遇到了同样的问题并尝试了以下方法：
BufferedReader in = new BufferedReader(new InputStreamReader(new FileInputStream(filePath), "UTF-8"));
DocumentBuilder db = DocumentBuilderFactory.newInstance().newDocumentBuilder();
Document xmlDom = db.parse(new InputSource(in));
<?xml version="1.0" encoding="iso-8859-1" ?>
并且保留其余部分不变。
String[] values = {"\\xF0\\x9F\\x98\\x95", "\\xF0\\x9F\\x91\\x8C", "/*", "look into my eyes 〠.〠", "fkdjsf ksdjfslk", "\\xF0\\x80\\x80\\x80", "aa \\xF0\\x9F\\x98\\x95 aa"};
for (int i = 0; i < values.length; i++) {
System.out.println(values[i].replaceAll(
"[\\\\x00-\\\\x7F]|" + //single-byte sequences 0xxxxxxx
"[\\\\xC0-\\\\xDF][\\\\x80-\\\\xBF]|" + //double-byte sequences 110xxxxx 10xxxxxx
"[\\\\xE0-\\\\xEF][\\\\x80-\\\\xBF]{2}|" + //triple-byte sequences 1110xxxx 10xxxxxx * 2
"[\\\\xF0-\\\\xF7][\\\\x80-\\\\xBF]{3}" //quadruple-byte sequence 11110xxx 10xxxxxx * 3
, ""));
}
如果您想验证某个字符串是否包含非UTF8字符，可以使用Pattern.matches，例如：
String[] values = {"\\xF0\\x9F\\x98\\x95", "\\xF0\\x9F\\x91\\x8C", "/*", "look into my eyes 〠.〠", "fkdjsf ksdjfslk", "\\xF0\\x80\\x80\\x80", "aa \\xF0\\x9F\\x98\\x95 aa"};
for (int i = 0; i < values.length; i++) {
System.out.println(Pattern.matches(
".*(" +
"[\\\\x00-\\\\x7F]|" + //single-byte sequences 0xxxxxxx
"[\\\\xC0-\\\\xDF][\\\\x80-\\\\xBF]|" + //double-byte sequences 110xxxxx 10xxxxxx
"[\\\\xE0-\\\\xEF][\\\\x80-\\\\xBF]{2}|" + //triple-byte sequences 1110xxxx 10xxxxxx * 2
"[\\\\xF0-\\\\xF7][\\\\x80-\\\\xBF]{3}" //quadruple-byte sequence 11110xxx 10xxxxxx * 3
+ ").*"
, values[i]));
}
BufferedReader bufferedReader = null;
try {
bufferedReader = new BufferedReader(new InputStreamReader(new ByteArrayInputStream(bytes), "UTF-8"));
for (String currentLine; (currentLine = bufferedReader.readLine()) != null;) {
currentLine = currentLine.replaceAll(
"[\\x00-\\x7F]|" + //single-byte sequences 0xxxxxxx
"[\\xC0-\\xDF][\\x80-\\xBF]|" + //double-byte sequences 110xxxxx 10xxxxxx
"[\\xE0-\\xEF][\\x80-\\xBF]{2}|" + //triple-byte sequences 1110xxxx 10xxxxxx * 2
"[\\xF0-\\xF7][\\x80-\\xBF]{3}" //quadruple-byte sequence 11110xxx 10xxxxxx * 3
, ""));
}
如何使整个Web应用程序兼容UTF8，请阅读此处：
在Java Web应用程序中如何使UTF-8工作
有关字节编码和字符串的更多信息。
您可以在此处检查您的模式这里。
PHP中同样适用这里。