关于以下主题：
Java应用程序：无法正确读取iso-8859-1编码的文件最佳方法是如何在程序中确定输入流/文件的正确字符集编码？
我已尝试使用以下内容：
File in = new File(args[0]);
InputStreamReader r = new InputStreamReader(new FileInputStream(in));
System.out.println(r.getEncoding());
但是在我知道使用ISO8859_1编码的文件上，上述代码会产生错误的ASCII结果，这不正确，并且不允许我正确地将文件内容呈现回控制台。
您无法确定任意字节流的编码。这是编码的本质。编码意味着字节值和其表示之间的映射。因此，每种编码“可能”都是正确的。
getEncoding() 方法将返回为流设置的编码（请阅读JavaDoc）。它不会为您猜测编码。
有些流会告诉您创建它们所使用的编码：XML、HTML。但不是任意字节流。
不管怎样，如果必须的话，您可以尝试自己猜测一种编码。每种语言都有每个字符的通用频率。在英语中，字符e经常出现，但ê很少见。在ISO-8859-1流中，通常没有0x00字符。但UTF-16流有很多。
或者：您可以询问用户。我已经看到过一些应用程序，它们会向您呈现文件的片段，并要求您选择“正确”的编码。
我曾使用过这个库，类似于 Java 中的 jchardet，用于检测编码： https://github.com/albfernandez/juniversalchardet
看这个： http://site.icu-project.org/ (icu4j) 它们有用于从IOStream检测字符集的库，可能是这样简单的：
BufferedInputStream bis = new BufferedInputStream(input);
CharsetDetector cd = new CharsetDetector();
cd.setText(bis);
CharsetMatch cm = cd.detect();
if (cm != null) {
reader = cm.getReader();
charset = cm.getName();
}else {
throw new UnsupportedCharsetException()
}
这是我的收藏：
依赖项：
<dependency>
<groupId>org.apache.any23</groupId>
<artifactId>apache-any23-encoding</artifactId>
<version>1.1</version>
</dependency>
示例:
public static Charset guessCharset(InputStream is) throws IOException {
return Charset.forName(new TikaEncodingDetector().guessEncoding(is));
}
依赖项：
<dependency>
<groupId>org.codehaus.guessencoding</groupId>
<artifactId>guessencoding</artifactId>
<version>1.4</version>
<type>jar</type>
</dependency>
示例：
public static Charset guessCharset2(File file) throws IOException {
return CharsetToolkit.guessEncoding(file, 4096, StandardCharsets.UTF_8);
}
CharsetDectector类的一个薄包装器。 - Stephan截至本文撰写时，出现了三个库：
我不包括 Apache Any23，因为它在底层使用 ICU4j 3.4。
无法证明以上每个库检测到的字符集。但是，可以依次询问它们并对返回的响应进行评分。
可以为每个响应分配一个分数。响应得分越高，检测到的字符集的可信度就越高。这是一种简单的评分方法。您可以制定其他评分方法。
这是一个完整的代码片段，实现了上述策略。
public static String guessEncoding(InputStream input) throws IOException {
// Load input data
long count = 0;
int n = 0, EOF = -1;
byte[] buffer = new byte[4096];
ByteArrayOutputStream output = new ByteArrayOutputStream();
while ((EOF != (n = input.read(buffer))) && (count <= Integer.MAX_VALUE)) {
output.write(buffer, 0, n);
count += n;
}
if (count > Integer.MAX_VALUE) {
throw new RuntimeException("Inputstream too large.");
}
byte[] data = output.toByteArray();
// Detect encoding
Map<String, int[]> encodingsScores = new HashMap<>();
// * GuessEncoding
updateEncodingsScores(encodingsScores, new CharsetToolkit(data).guessEncoding().displayName());
// * ICU4j
CharsetDetector charsetDetector = new CharsetDetector();
charsetDetector.setText(data);
charsetDetector.enableInputFilter(true);
CharsetMatch cm = charsetDetector.detect();
if (cm != null) {
updateEncodingsScores(encodingsScores, cm.getName());
}
// * juniversalchardset
UniversalDetector universalDetector = new UniversalDetector(null);
universalDetector.handleData(data, 0, data.length);
universalDetector.dataEnd();
String encodingName = universalDetector.getDetectedCharset();
if (encodingName != null) {
updateEncodingsScores(encodingsScores, encodingName);
}
// Find winning encoding
Map.Entry<String, int[]> maxEntry = null;
for (Map.Entry<String, int[]> e : encodingsScores.entrySet()) {
if (maxEntry == null || (e.getValue()[0] > maxEntry.getValue()[0])) {
maxEntry = e;
}
}
String winningEncoding = maxEntry.getKey();
//dumpEncodingsScores(encodingsScores);
return winningEncoding;
}
private static void updateEncodingsScores(Map<String, int[]> encodingsScores, String encoding) {
String encodingName = encoding.toLowerCase();
int[] encodingScore = encodingsScores.get(encodingName);
if (encodingScore == null) {
encodingsScores.put(encodingName, new int[] { 1 });
} else {
encodingScore[0]++;
}
}
private static void dumpEncodingsScores(Map<String, int[]> encodingsScores) {
System.out.println(toString(encodingsScores));
}
private static String toString(Map<String, int[]> encodingsScores) {
String GLUE = ", ";
StringBuilder sb = new StringBuilder();
for (Map.Entry<String, int[]> e : encodingsScores.entrySet()) {
sb.append(e.getKey() + ":" + e.getValue()[0] + GLUE);
}
int len = sb.length();
sb.delete(len - GLUE.length(), len);
return "{ " + sb.toString() + " }";
}
改进：
guessEncoding方法会完整读取输入流。对于大型输入流，这可能是一个问题。所有这些库都将读取整个输入流。这将意味着检测字符集需要大量时间消耗。
可以将初始数据加载限制为几个字节，并只对这些少量字节执行字符集检测。
上述库只是简单的BOM检测器，当然只有在文件开头有BOM时才能工作。请查看http://jchardet.sourceforge.net/，它可以扫描文本。
String charset = "ISO-8859-1"; //Default chartset, put whatever you want
byte[] fileContent = null;
FileInputStream fin = null;
//create FileInputStream object
fin = new FileInputStream(file.getPath());
/*
* Create byte array large enough to hold the content of the file.
* Use File.length to determine size of the file in bytes.
*/
fileContent = new byte[(int) file.length()];
/*
* To read content of the file in byte array, use
* int read(byte[] byteArray) method of java FileInputStream class.
*
*/
fin.read(fileContent);
byte[] data = fileContent;
CharsetDetector detector = new CharsetDetector();
detector.setText(data);
CharsetMatch cm = detector.detect();
if (cm != null) {
int confidence = cm.getConfidence();
System.out.println("Encoding: " + cm.getName() + " - Confidence: " + confidence + "%");
//Here you have the encode name and the confidence
//In my case if the confidence is > 50 I return the encode, else I return the default value
if (confidence > 50) {
charset = cm.getName();
}
}
记得在所有需要的地方加上try-catch语句。
希望这对你有用。
Reader.getEncoding返回读取器设置的编码，而在您的情况下，这是默认编码。 - Karol SSystem.getProperty("file.encoding")it returns string. ex -FileInputStream fis = new FileInputStream(path); String encoding = System.getProperty("fis.encoding");- Sathvik