Java中针对非ASCII字符的URL解码

Question

Java中针对非ASCII字符的URL解码

3

我正在尝试使用Java解码包含％编码字符的URL。

我已经尝试使用java.net.URI类来完成这项工作，但它并不总是正确的。

String test = "https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise";
URI uri = new URI(test);
System.out.println(uri.getPath());

针对测试字符串 "https://fr.wikipedia.org/wiki/Fondation_Alliance_fran%C3%A7aise", 结果是正确的 "/wiki/Fondation_Alliance_française"（%C3%A7 被正确替换成 ç）。

但对于其他一些测试字符串，如 "http://sv.wikipedia.org/wiki/Anv%E4ndare:Lsjbot/Statistik#Drosophilidae"，它给出了一个错误的结果 "/wiki/Anv�ndare:Lsjbot/Statistik"（%E4 被替换成�而不是 ä）。

我使用了 getRawPath() 和 URLDecoder 类进行了一些测试。

System.out.println(URLDecoder.decode(uri.getRawPath(), "UTF8"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "ISO-8859-1"));
System.out.println(URLDecoder.decode(uri.getRawPath(), "WINDOWS-1252"));

根据测试字符串，我使用不同的编码可以得到正确的结果：

对于%C3%A7，我使用"UTF-8"编码可以得到预期的正确结果，而使用"ISO-8859-1"或"WINDOWS-1252"编码则会得到错误的结果
对于%E4，则相反。

对于这两个测试URL，如果我在Chrome地址栏中输入它们，我可以得到正确的页面。

如何在所有情况下正确解码URL？感谢任何帮助。

==== 答案 ====

感谢McDowell答案下的建议，现在似乎已经可以工作了。这是我现在的代码：

private static void appendBytes(ByteArrayOutputStream buf, String data) throws UnsupportedEncodingException {
  byte[] b = data.getBytes("UTF8");
  buf.write(b, 0, b.length);
}

private static byte[] parseEncodedString(String segment) throws UnsupportedEncodingException {
  ByteArrayOutputStream buf = new ByteArrayOutputStream(segment.length());
  int last = 0;
  int index = 0;
  while (index < segment.length()) {
    if (segment.charAt(index) == '%') {
      appendBytes(buf, segment.substring(last, index));
      if ((index < segment.length() + 2) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 1)) >= 0) &&
          ("ABCDEFabcdef0123456789".indexOf(segment.charAt(index + 2)) >= 0)) {
        buf.write((byte) Integer.parseInt(segment.substring(index + 1, index + 3), 16));
        index += 3;
      } else if ((index < segment.length() + 1) &&
                 (segment.charAt(index + 1) == '%')) {
        buf.write((byte) '%');
        index += 2;
      } else {
        buf.write((byte) '%');
        index++;
      }
      last = index;
    } else {
      index++;
    }
  }
  appendBytes(buf, segment.substring(last));
  return buf.toByteArray();
}

private static String parseEncodedString(String segment, Charset... encodings) {
  if ((segment == null) || (segment.indexOf('%') < 0)) {
    return segment;
  }
  try {
    byte[] data = parseEncodedString(segment);
    for (Charset encoding : encodings) {
      try {
        if (encoding != null) {
          return encoding.newDecoder().
              onMalformedInput(CodingErrorAction.REPORT).
              decode(ByteBuffer.wrap(data)).toString();
        }
      } catch (CharacterCodingException e) {
        // Incorrect encoding, try next one
      }
    }
  } catch (UnsupportedEncodingException e) {
    // Nothing to do
  }
  return segment;
}

- NicoV

请注意，URLDecoder不适用于解码URI路径；它在大多数情况下可以工作，但并非所有情况都适用。 - fge

我知道，我只是尝试使用它，因为URI类在所有情况下都没有给我正确的答案，并且为了在这个问题中提供更多信息。 - NicoV

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- McDowell · Accepted Answer

这段文字是瑞典语，翻译成中文是“用户”。

public static String parse(String segment, Charset... encodings) {
  byte[] data = parse(segment);
  for (Charset encoding : encodings) {
    try {
      return encoding.newDecoder()
          .onMalformedInput(CodingErrorAction.REPORT)
          .decode(ByteBuffer.wrap(data))
          .toString();
    } catch (CharacterCodingException notThisCharset_ignore) {}
  }
  return segment;
}

private static byte[] parse(String segment) {
  ByteArrayOutputStream buf = new ByteArrayOutputStream();
  Matcher matcher = Pattern.compile("%([A-Fa-f0-9][A-Fa-f0-9])")
                          .matcher(segment);
  int last = 0;
  while (matcher.find()) {
    appendAscii(buf, segment.substring(last, matcher.start()));
    byte hex = (byte) Integer.parseInt(matcher.group(1), 16);
    buf.write(hex);
    last = matcher.end();
  }
  appendAscii(buf, segment.substring(last));
  return buf.toByteArray();
}

private static void appendAscii(ByteArrayOutputStream buf, String data) {
  byte[] b = data.getBytes(StandardCharsets.US_ASCII);
  buf.write(b, 0, b.length);
}

这段代码将成功解码给定的字符串：

for (String test : Arrays.asList("Fondation_Alliance_fran%C3%A7aise",
    "Anv%E4ndare")) {
  String result = parse(test, StandardCharsets.UTF_8,
      StandardCharsets.ISO_8859_1);
  System.out.println(result);
}

请注意，这不是一种绝对可靠的系统，允许您忽略正确的URL编码。它之所以在这里起作用，是因为“v%e4n”——字节序列76 E4 6E——不符合UTF-8方案的有效序列，解码器可以检测到这一点。

如果您颠倒编码顺序，第一个字符串可以被错误地解码为ISO-8859-1，但程序仍会正常运行。

注意：HTTP不关心百分号编码，您可以编写一个接受http://foo/%%%%%作为有效形式的Web服务器。URI规范强制使用UTF-8，但这是事后才做的。服务器描述其URI应该采用什么形式以及如果您必须处理任意URI，则需要了解此遗留问题。

我在这里更多地介绍了URL和Java。