logo标签列表

Unicode正则表达式；无效的XML字符。

regexunicodepcre
50

XML规范中定义了一系列有效的XML字符：

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
我的问题是是否可以使用Unicode通用类别而不实际硬编码代码点来制作此（或其反向）的PCRE正则表达式。 反向可能是像[\p{Cc}\p{Cs}\p{Cn}]这样的东西，但是它没有正确覆盖换行符和制表符，并且错过了一些其他无效字符。
6个回答
101

我知道这并不完全回答你的问题，但有一些相关信息可能会对你有帮助:

用于匹配有效XML字符的正则表达式：

[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD]

因此，为了从XML中删除无效字符，您可以执行以下操作：

// filters control characters but allows only properly-formed surrogate sequences
private static Regex _invalidXMLChars = new Regex(
    @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]",
    RegexOptions.Compiled);

/// <summary>
/// removes any unusual unicode characters that can't be encoded into XML
/// </summary>
public static string RemoveInvalidXMLChars(string text)
{
    if (string.IsNullOrEmpty(text)) return "";
    return _invalidXMLChars.Replace(text, "");
}

我请我们公司的正则表达式/XML专家他曾发表过获得4400多个赞的帖子检查了这个问题，他认为没有问题。

4
与其使用text.IsNullOrEmpty()，我认为你需要使用string.IsNullOrEmpty(text)。 - Jon Galloway
10
我建议不要剥离无效字符，而是用替换字符�(FFFD)代替它们。剥离无效字符会使调试变得更加困难（出现的问题变得看不见），在某些情况下，还可能导致安全漏洞的产生。 - Jakob Egger
谢谢，这刚刚解决了我一个非常棘手的大问题。 - Greg Quinn
@Jeff Atwood：这会对我的情况有帮助吗？http://stackoverflow.com/questions/29431354/continue-reading-other-xml-elements-after-exception。如果我从我的XML中删除这些元素，我不会丢失一些数据吗？ - Giorgi Moniava
@MattEnright FFFE和FFFF是字节顺序标记，如果您将XML流发送到Java，则会引发错误。 - Brain2000
7
我在Java中尝试了这个，它可以正常工作：
private String filterContent(String content) {
    return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", "");
}

谢谢Jeff。
优雅的一行解决方案。谢谢Yuval。 - Dekel
在我的情况下（C#），\\u000a\\u000d 是有效的字符。 - schoetbi
6
对于内部使用UTF-16存储码点的系统，常见使用代理对(xD800-xDFFF)来表示大于0xFFFF的码点，在这些系统中，你必须验证是否真的可以使用例如\u12345或必须指定为代理对。（我刚在C#中发现你可以使用\u1234(16位)和\U00001234(32位)）。
根据Microsoft，“W3C建议不允许标签或属性名称中包含代理字符。”在搜索W3s网站时，我发现C079和C078可能会引起兴趣。
虽然这是一个有用的实现提示，但它并没有真正回答我的问题。我们假设实现对非BMP字符有一流的支持，因此根本不需要替代字符。 - Edward Z. Yang
4
如果XML中存在十六进制代码（例如 <element>&#x8;</element>），那么上述解决方案对我无效。下面的代码会出现错误：
string xmlFormat = "<element>{0}</element>";
string invalid = " &#x8;";
string xml = string.Format(xmlFormat, invalid);
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", "");
XDocument.Parse(xml);

它返回:
XmlException: '', hexadecimal value 0x08, is an invalid character. Line 1, position 14.
以下是改进后的正则表达式并解决了上述问题:
&#x([0-8BCEFbcef]|1[0-9A-Fa-f]);|[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]
这是针对前300个Unicode字符的单元测试，并验证仅删除无效字符:
[Fact]
        public void validate_that_RemoveInvalidData_only_remove_all_invalid_data()
        {
            string xmlFormat = "<element>{0}</element>";
            string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray());
            string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray());
            string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray());

            bool hasParserError = false;
            IXmlSanitizer sanitizer = new XmlSanitizer();

            foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase))
            {
                bool shouldBeRemoved = false;
                string xml = string.Format(xmlFormat, test);
                try
                {
                    XDocument.Parse(xml);
                    shouldBeRemoved = false;
                }
                catch (Exception e)
                {
                    if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these.
                    {
                        shouldBeRemoved = true;
                    }
                }
                int xmlCurrentLength = xml.Length;
                int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length;
                if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed
                    ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been
                {
                    hasParserError = true;
                    Console.WriteLine(test + xml);
                }
            }
            Assert.Equal(false, hasParserError);
        }
2

使用 XmlConvert.IsXmlChar 方法 是在 .NET Framework 4.0 可用的另一种在 C# 中删除不正确的 XML 字符的方法。

public static string RemoveInvalidXmlChars(string content)
{
   return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray());
}

或者您可以检查所有字符是否符合XML的规范要求。
public static bool CheckValidXmlChars(string content)
{
   return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch));
}

.Net Fiddle - https://dotnetfiddle.net/v1TNus

例如，垂直制表符（\v）在XML中无效，它是有效的UTF-8，但不是有效的XML 1.0，甚至许多库（包括libxml2）都会忽略它并静默输出无效的XML。

0

在PHP中，正则表达式看起来像下面这样：

protected function isStringValid($string)
{
    $regex = '/[^\x{9}\x{a}\x{d}\x{20}-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]+/u';

    return (preg_match($regex, $string, $matches) === 0);
}

这将处理XML规范中的所有3个范围：

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
网页内容由stack overflow 提供, 点击上面的
可以查看英文原文，
原文链接