如何从UTF-8字符中去除不可见字符

Question

我写了一个程序来生成随机的utf-8字符串，但是有一些乱码字符。 我不知道我的代码是否有问题或者有些字符是看不见的，如何去除这些乱码字符（但我想保留中文、韩文、日文、符号等）？

以下是代码：

private byte randomByteInRange(int min, int max) {
    return (byte) (min + rand.nextInt(max - min));
}

private String randomUtf8String(int length) throws UnsupportedEncodingException {
    int j = 0;
    byte[] bytes = new byte[6 * length];
    for (int i = 0; i < length; ++i) {
        int mod = i % 3;
        if (0 == mod) { // 0xxxxxxx, visible char: 0x20 ~ 0x80
            bytes[j++] = randomByteInRange(0x20, 0x80);
        }
        if (1 == mod) { // 110xxxxx 10xxxxxx
            bytes[j++] = randomByteInRange(0xc0, 0xdf);
            bytes[j++] = randomByteInRange(0x80, 0xbf);
        }
        if (2 == mod) { // 1110xxxx 10xxxxxx 10xxxxxx
            bytes[j++] = randomByteInRange(0xe0, 0xef);
            bytes[j++] = randomByteInRange(0x80, 0xbf);
            bytes[j++] = randomByteInRange(0x80, 0xbf);
        }
    }

    return new String(bytes, 0, j, "UTF-8").replaceAll("\\p{C}+", "");
}

这是我的输出：

kѷ㱾U׽拌w��Ꙙ@

- jamee

---

UTF-8有点难，因为每个字符映射到可变数量的字节。为什么不使用UTF-16呢？在UTF-16中，每个普通字符恰好是两个字节，然后再转换回UTF-8呢？ - artbristol

这段代码用于测试Web服务接口，客户端将输入UTF8编码的字符串。 - jamee

嗯...你从那个方法返回了一个String，而不是字节，所以用什么字节构造它是无关紧要的。 - artbristol

我明白了。但是如何枚举UTF-16中可见的字符？ - jamee

Answer 1

我能想到以下几个问题，使用此方式生成随机字符串会遇到：

- 未分配范围、保留范围和专用区域。 - 控制字符。 - 组合标记（例如，仅在某些其他代码点后才有意义的变音符号）。 - 字体支持（例如，您的设备是否显示欧甘文？）。

为了实现一个有意义的随机字符串生成器，您的代码需要应用一些过滤器和自然语言启发式算法。 请参考图表。

---

假设这是用于本地化烟雾测试...

作为替代方法，考虑使用目标语言中的常用短语、日期等，或者使用从目标语言文本源生成的马尔可夫链。自动翻译软件也可以给您提供目标字符串的合理表示。

- McDowell

---

实际上，这段代码是用于测试的。模拟用户输入，用户可以输入任何字符作为密码提示。"你的代码需要应用一些过滤器和自然语言启发式算法。" 你能给我一些提示吗？ - jamee

@jamee - 我建议先阅读Unicode规范。你的目标Java版本文档会告诉你它实现了哪个版本的规范。我还建议阅读字符属性的相关内容。 - McDowell

Answer 2

在Eclipse中，写入：

Character c;
c.i

将鼠标光标放在c.i后面，
然后输入CTRL+SPACE并搜索以is开头的单词。

使用所有您想要的is测试您的输入。

- cl-r