你可以使用 iconv (或更好的 iconv-lite) 进行转换,但要检测编码,建议使用 charset 和 jschardet 模块。以下是它们同时运作时的示例:
var charset = require('charset'),
jschardet = require('jschardet'),
Iconv = require('iconv').Iconv;
request.get({url: 'http://www.example.com', encoding: 'binary'}, function(err, res, body) {
var enc = charset(res.headers, body) || jschardet.detect(body).encoding.toLowerCase();
if(enc !== 'utf8') {
var iconv = new Iconv(enc, 'UTF-8//TRANSLIT//IGNORE');
body = iconv.convert(new Buffer(body, 'binary')).toString('utf8');
}
console.log(body);
});
页面似乎使用了 iso-8859-1 编码。您需要告诉 request
返回一个未编码的缓冲区,方法是传递参数 encoding: null
并使用类似node-iconv 的工具进行转换。
如果您正在编写通用爬虫程序,则必须找出如何检测每个页面的编码以正确解码它,否则以下内容应该适用于您的情况:
var request = require('request');
var iconv = require('iconv');
request.get({
url: 'http://www.relaisentrecote.fr',
encoding: null,
}, function(err, res, body) {
var ic = new iconv.Iconv('iso-8859-1', 'utf-8');
var buf = ic.convert(body);
var utf8String = buf.toString('utf-8');
// .. do something with utf8String ..
});