我需要读取一个使用ISO-8859-1(也称为Latin1)编码的文件,就像这样:
var file_contents = fs.readFileSync("test_data.html", "latin1");
然而,Node会抱怨"latin1"或"ISO-8859-1"不是有效的编码("Error: Unknown encoding")。
readFileSync
接受哪些编码?
我需要读取一个使用ISO-8859-1(也称为Latin1)编码的文件,就像这样:
var file_contents = fs.readFileSync("test_data.html", "latin1");
然而,Node会抱怨"latin1"或"ISO-8859-1"不是有效的编码("Error: Unknown encoding")。
readFileSync
接受哪些编码?
Node原生支持的编码格式list of encodings相当有限:
如果您使用的是旧版本低于6.4.0,或者不想处理非Unicode编码,您可以重新编码字符串:
使用iconv-lite重新编码文件:
var iconvlite = require('iconv-lite');
var fs = require('fs');
function readFileSync_encoding(filename, encoding) {
var content = fs.readFileSync(filename);
return iconvlite.decode(content, encoding);
}
或者使用iconv:
var Iconv = require('iconv').Iconv;
var fs = require('fs');
function readFileSync_encoding(filename, encoding) {
var content = fs.readFileSync(filename);
var iconv = new Iconv(encoding, 'UTF-8');
var buffer = iconv.convert(content);
return buffer.toString('utf8');
}
latin1
) 不被支持 -- 在 Node v8.1.4 中并不是这样的。可以查看 此文档页面,查看 Buffer 支持的所有编码,其中包括 latin1
(其别名为 binary
)。 - nbkhopelatin1
是可逆的——即使你的输入是一个mp4视频文件,该字符串也将是有效的(虽然没有意义),并且转换回字节将产生原始字节。对于二进制数据,请使用Buffer
/Uint8Array
。 - phihag{encoding: null}
(或不指定编码)进行读取。这样,您将获得一个缓冲区。缓冲区已经是二进制数据,因此在写入时忽略encoding
参数。 - phihag在缓冲区文档中详细列出了各种编码方式。
字符编码
utf8
: 多字节编码的Unicode字符。许多网页和其他文档格式都使用UTF-8。这是默认的字符编码。utf16le
: 多字节编码的Unicode字符。与utf8
不同,字符串中的每个字符将使用2或4个字节进行编码。latin1
: Latin-1代表ISO-8859-1。此字符编码仅支持Unicode字符从U+0000
到U+00FF
。二进制到文本编码
base64
: Base64编码。从字符串创建缓冲区时,此编码还将正确接受RFC 4648第5节中指定的“URL和文件名安全字母表”。base64url
(Node v14+):Base64 URL编码,如RFC 4648第5节中所述。从字符串创建缓冲区时,此编码还将正确接受常规的Base64编码字符串。将缓冲区编码为字符串时,此编码将省略填充。hex
: 将每个字节编码为两个十六进制字符。传统字符编码
ascii
: 仅适用于7位ASCII数据。一般来说,在对ASCII文本进行编码或解码时,使用'utf8'(或者如果数据总是只包含ASCII,则使用'latin1')将是更好的选择。binary
: 'latin1'的别名。ucs2
: 'utf16le'的别名。
从v12开始,Node支持以下编码值:
ascii
base64
hex
latin1
ucs2
utf16le
utf8
Node v14及更高版本添加了base64url
编码。
使用此shell脚本从每个Node版本中提取支持的编码:
for v in {12..19}; do echo v$v; curl -L https://raw.githubusercontent.com/nodejs/node/v$v.x/lib/buffer.js --silent | grep -A 100000 'const encodingOps' | grep -B 100000 -E '^}' -m 1 | grep -Eo '^ [^ :}]+' | grep -Eo '[^ ]+' | sort; echo ---; done
npm install iconv
npm WARN package.json portalServer@0.1.0 No README.md file found!
npm http GET https://registry.npmjs.org/iconv
npm http 200 https://registry.npmjs.org/iconv
npm http GET https://registry.npmjs.org/iconv/-/iconv-2.0.4.tgz
npm http 200 https://registry.npmjs.org/iconv/-/iconv-2.0.4.tgz
> iconv@2.0.4 install /Users/markboyd/git/portal/app/node_modules/iconv
> node-gyp rebuild
gyp http GET http://nodejs.org/dist/v0.10.1/node-v0.10.1.tar.gz
gyp http 200 http://nodejs.org/dist/v0.10.1/node-v0.10.1.tar.gz
xcode-select: Error: No Xcode is selected. Use xcode-select -switch <path-to-xcode>, or see the xcode-select manpage (man xcode-select) for further information.
如果没有指定编码,fs.readFileSync()将返回一个Buffer。而Buffer有一个toString()方法,如果没有指定编码,它将转换为UTF8,从而给出文件的内容。请参阅nodejs文档。这对我很有效。