在Java中是否有一种方法可以实现字符集之间的音译，类似于Unix命令（或类似的PHP函数）？需要注意保留HTML标签。
iconv -f UTF-8 -t ASCII//TRANSLIT < some_doc.txt > new_doc.txt
最好的情况是操作字符串，与文件无关
我知道您可以使用String构造函数更改编码，但这不会处理不在结果字符集中的字符的音译。
3个回答
11
我不知道有任何库可以完全实现 iconv 声称的功能（而这个功能定义似乎不太明确）。但是，您可以在Java中使用“规范化”来执行一些操作，例如从字符中去掉重音。该过程已被Unicode标准定义得很清楚。
我认为使用NFKD（兼容分解）后过滤非ASCII字符可能会接近您想要的结果。显然，这是一个有损的过程; 您无法恢复原始字符串中的所有信息，请小心处理。
/* Decompose original "accented" string to basic characters. */
String decomposed = Normalizer.normalize(accented, Normalizer.Form.NFKD);
/* Build a new String with only ASCII characters. */
StringBuilder buf = new StringBuilder();
for (int idx = 0; idx < decomposed.length(); ++idx) {
char ch = decomposed.charAt(idx);
if (ch < 128)
buf.append(ch);
}
String filtered = buf.toString();
使用这种过滤方式可能会导致一些字符串无法阅读。例如，一串中文字符将被完全过滤掉，因为它们都没有ASCII表示（这更像是iconv的//IGNORE）。
总的来说，建立自己的有效字符替换查找表，或者至少建立一个安全剥离的组合字符（如音标和其他符号）查找表会更安全。最好的解决方案取决于您希望处理的输入字符范围。
- erickson
2
感谢Erickson的提示。我遇到最大的问题是省略号、长破折号、定向引号等特殊字符。此外，UTF-8转ASCII只是一个例子，因为我还需要将Windows-1252转换为ISO-8859-1。这种规范化技术在这些情况下是否有效？ - Keith
@Keith - 规范化会起作用，但过滤可能不太有用。考虑到你所处理的字符，手工制作的替换表可能是最好的选择。可能有一些带有这样一个表的库，但我不熟悉任何一个。 - erickson
5
一种解决方法是将iconv作为外部进程执行。这可能会冒犯纯粹主义者。它取决于系统中是否存在iconv，但它可以正常工作并且完全符合您的要求：
public static String utfToAscii(String input) throws IOException {
Process p = Runtime.getRuntime().exec("iconv -f UTF-8 -t ASCII//TRANSLIT");
BufferedWriter bwo = new BufferedWriter(new OutputStreamWriter(p.getOutputStream()));
BufferedReader bri = new BufferedReader(new InputStreamReader(p.getInputStream()));
bwo.write(input,0,input.length());
bwo.flush();
bwo.close();
String line = null;
StringBuilder stringBuilder = new StringBuilder();
String ls = System.getProperty("line.separator");
while( ( line = bri.readLine() ) != null ) {
stringBuilder.append( line );
stringBuilder.append( ls );
}
bri.close();
try {
p.waitFor();
} catch ( InterruptedException e ) {
}
return stringBuilder.toString();
}
- borzoj
5
让我们从Ericson的回答稍作修改，更多地增加//TRANSLIT特性：
分解字符以获得ASCII-String
public class Translit {
private static final Charset US_ASCII = Charset.forName("US-ASCII");
private static String toAscii(final String input) {
final CharsetEncoder charsetEncoder = US_ASCII.newEncoder();
final char[] decomposed = Normalizer.normalize(input, Normalizer.Form.NFKD).toCharArray();
final StringBuilder sb = new StringBuilder(decomposed.length);
for (int i = 0; i < decomposed.length; ) {
final int codePoint = Character.codePointAt(decomposed, i);
final int charCount = Character.charCount(codePoint);
if(charsetEncoder.canEncode(CharBuffer.wrap(decomposed, i, charCount))) {
sb.append(decomposed, i, charCount);
}
i += charCount;
}
return sb.toString();
}
public static void main(String[] args) {
final String a = "Michèleäöüß";
System.out.println(a + " => " + toAscii(a));
System.out.println(a.toUpperCase() + " => " + toAscii(a.toUpperCase()));
}
}
虽然这对于US-ASCII应该具有相同的行为，但这种解决方案更容易适用于不同的目标编码。（由于字符首先被分解，因此这并不一定会为其他编码产生更好的结果）
该函数对于补充码点是安全的（尽管针对ASCII作为目标编码有些过度，但如果选择其他目标编码，则可能减少头痛）。
另请注意，返回的是常规Java字符串；如果需要ASCII-byte[]，仍然需要进行转换（但是我们已确保没有冒犯性的字符...）。
以下是如何将其扩展到更多字符集：
替换或分解字符以获得可在提供的Charset中编码的String
import java.nio.CharBuffer;
import java.nio.charset.Charset;
import java.nio.charset.CharsetEncoder;
import java.text.Normalizer;
import java.util.Collections;
import java.util.HashMap;
import java.util.Map;
/**
* Created for https://dev59.com/cW025IYBdhLWcg3wyI-V#22841035
*/
public class Translit {
public static final Charset US_ASCII = Charset.forName("US-ASCII");
public static final Charset ISO_8859_1 = Charset.forName("ISO-8859-1");
public static final Charset UTF_8 = Charset.forName("UTF-8");
public static final HashMap<Integer, String> REPLACEMENTS = new ReplacementBuilder().put('„', '"')
.put('“', '"')
.put('”', '"')
.put('″', '"')
.put('€', "EUR")
.put('ß', "ss")
.put('•', '*')
.getMap();
private static String toCharset(final String input, Charset charset) {
return toCharset(input, charset, Collections.<Integer, String>emptyMap());
}
private static String toCharset(final String input,
Charset charset,
Map<? super Integer, ? extends String> replacements) {
final CharsetEncoder charsetEncoder = charset.newEncoder();
return toCharset(input, charsetEncoder, replacements);
}
private static String toCharset(String input,
CharsetEncoder charsetEncoder,
Map<? super Integer, ? extends String> replacements) {
char[] data = input.toCharArray();
final StringBuilder sb = new StringBuilder(data.length);
for (int i = 0; i < data.length; ) {
final int codePoint = Character.codePointAt(data, i);
final int charCount = Character.charCount(codePoint);
CharBuffer charBuffer = CharBuffer.wrap(data, i, charCount);
if (charsetEncoder.canEncode(charBuffer)) {
sb.append(data, i, charCount);
} else if (replacements.containsKey(codePoint)) {
sb.append(toCharset(replacements.get(codePoint), charsetEncoder, replacements));
} else {
// Only perform NFKD Normalization after ensuring the original character is invalid as this is a irreversible process
final char[] decomposed = Normalizer.normalize(charBuffer, Normalizer.Form.NFKD).toCharArray();
for (int j = 0; j < decomposed.length; ) {
int decomposedCodePoint = Character.codePointAt(decomposed, j);
int decomposedCharCount = Character.charCount(decomposedCodePoint);
if (charsetEncoder.canEncode(CharBuffer.wrap(decomposed, j, decomposedCharCount))) {
sb.append(decomposed, j, decomposedCharCount);
} else if (replacements.containsKey(decomposedCodePoint)) {
sb.append(toCharset(replacements.get(decomposedCodePoint), charsetEncoder, replacements));
}
j += decomposedCharCount;
}
}
i += charCount;
}
return sb.toString();
}
public static void main(String[] args) {
final String a = "Michèleäöü߀„“”″•";
System.out.println(a + " => " + toCharset(a, US_ASCII));
System.out.println(a + " => " + toCharset(a, ISO_8859_1));
System.out.println(a + " => " + toCharset(a, UTF_8));
System.out.println(a + " => " + toCharset(a, US_ASCII, REPLACEMENTS));
System.out.println(a + " => " + toCharset(a, ISO_8859_1, REPLACEMENTS));
System.out.println(a + " => " + toCharset(a, UTF_8, REPLACEMENTS));
}
public static class MapBuilder<K, V> {
private final HashMap<K, V> map;
public MapBuilder() {
map = new HashMap<K, V>();
}
public MapBuilder<K, V> put(K key, V value) {
map.put(key, value);
return this;
}
public HashMap<K, V> getMap() {
return map;
}
}
public static class ReplacementBuilder extends MapBuilder<Integer, String> {
public ReplacementBuilder() {
super();
}
@Override
public ReplacementBuilder put(Integer input, String replacement) {
super.put(input, replacement);
return this;
}
public ReplacementBuilder put(Integer input, char replacement) {
return this.put(input, String.valueOf(replacement));
}
public ReplacementBuilder put(char input, String replacement) {
return this.put((int) input, replacement);
}
public ReplacementBuilder put(char input, char replacement) {
return this.put((int) input, String.valueOf(replacement));
}
}
}
我强烈建议建立一个广泛的替换表，因为简单示例已经显示出如果不这样做，您可能会丢失所需的信息，如
€。对于ASCII字符集，此实现会稍微慢一些，因为分解只在需要时进行，而StringBuilder现在可能需要增长以容纳替换内容。GNU的iconv使用在translit.def中列出的替换内容来执行
//TRANSLIT转换，如果您想将其用作替换映射，则可以使用此方法：
导入原始的//TRANSLIT替换内容
private static Map<Integer, String> readReplacements() {
HashMap<Integer, String> map = new HashMap<>();
InputStream stream = Translit.class.getResourceAsStream("/translit.def");
BufferedReader bufferedReader = new BufferedReader(new InputStreamReader(stream, UTF_8));
Pattern pattern = Pattern.compile("^([0-9A-Fa-f]+)\t(.?[^\t]*)\t#(.*)$");
try {
String line;
while ((line = bufferedReader.readLine()) != null) {
if (line.charAt(0) != '#') {
Matcher matcher = pattern.matcher(line);
if (matcher.find()) {
map.put(Integer.valueOf(matcher.group(1), 16), matcher.group(2));
}
}
}
} catch (IOException e) {
e.printStackTrace();
}
return map;
}
- TheConstructor
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接
- 相关问题
- 96 Java中是否有类似于Python的'enumerate'函数的等效函数？
- 12 什么因素影响iconv() TRANSLIT转换的成功？
- 6 Java中是否有类似于frexp的函数？
- 3 Java中是否有类似于SUBSTRING函数的针对整数的函数？
- 3 Java中是否有类似于OpenSSL的bn_rand_range函数？
- 6 Java中是否有类似于ucwords的函数？
- 98 Java中是否有类似于memcpy()的等效函数？
- 12 将Javascript的UTF-8转换为ASCII（类似于PHP中的Iconv（'UTF-8'，'ASCII // TRANSLIT'，$ string））
- 3 Kotlin/Java - 是否有类似于TryParse()的函数？
- 10 Java 中是否有类似于 find_if 的函数？