我想使用axios下载PDF文件，并使用fs.writeFile保存到磁盘上（服务端），我已经尝试了：
axios.get('https://xxx/my.pdf', {responseType: 'blob'}).then(response => {
fs.writeFile('/temp/my.pdf', response.data, (err) => {
if (err) throw err;
console.log('The file has been saved!');
});
});
文件已保存，但内容损坏...
如何正确保存文件？
实际上，我认为之前被接受的答案有些缺陷，因为它无法正确处理写入流，所以如果你在Axios给出响应后调用"then()"，你最终会得到一个部分下载的文件。
在下载稍大的文件时，以下是一种更合适的解决方案：
export async function downloadFile(fileUrl: string, outputLocationPath: string) {
const writer = createWriteStream(outputLocationPath);
return Axios({
method: 'get',
url: fileUrl,
responseType: 'stream',
}).then(response => {
//ensure that the user can call `then()` only when the file has
//been downloaded entirely.
return new Promise((resolve, reject) => {
response.data.pipe(writer);
let error = null;
writer.on('error', err => {
error = err;
writer.close();
reject(err);
});
writer.on('close', () => {
if (!error) {
resolve(true);
}
//no need to call the reject here, as it will have been called in the
//'error' stream;
});
});
});
}
这样，您可以调用downloadFile()，在返回的Promise上调用then()，并确保已完成处理下载的文件。
或者，如果您使用更现代化的NodeJS版本，可以尝试使用以下方法：
import * as stream from 'stream';
import { promisify } from 'util';
const finished = promisify(stream.finished);
export async function downloadFile(fileUrl: string, outputLocationPath: string): Promise<any> {
const writer = createWriteStream(outputLocationPath);
return Axios({
method: 'get',
url: fileUrl,
responseType: 'stream',
}).then(response => {
response.data.pipe(writer);
return finished(writer); //this is a Promise
});
}
stream responseType 的文档。 - csotiriou你可以简单地使用 response.data.pipe 和 fs.createWriteStream 将响应数据导向文件。
axios({
method: "get",
url: "https://xxx/my.pdf",
responseType: "stream"
}).then(function (response) {
response.data.pipe(fs.createWriteStream("/temp/my.pdf"));
});
then之前并不等待整个文件被下载。请看我的解决方案，找到我认为更完整的解决方案。 - csotiriou文件损坏的问题是由于在节点流中的反压。您可以阅读此链接：https://nodejs.org/es/docs/guides/backpressuring-in-streams/
我不太喜欢在JS代码中使用基于Promise的声明对象，因为我觉得它会污染实际的核心逻辑并使代码难以阅读。除此之外，您需要提供事件处理程序和侦听器以确保代码完成。
与所接受的答案提出的相同逻辑的更清晰的方法如下所示。它使用了流管道的概念。
const util = require('util');
const stream = require('stream');
const pipeline = util.promisify(stream.pipeline);
const downloadFile = async () => {
try {
const request = await axios.get('https://xxx/my.pdf', {
responseType: 'stream',
});
await pipeline(request.data, fs.createWriteStream('/temp/my.pdf'));
console.log('download pdf pipeline successful');
} catch (error) {
console.error('download pdf pipeline failed', error);
}
}
exports.downloadFile = downloadFile
我希望你觉得这很有用。
// This works perfectly well!
const axios = require('axios');
axios.get('http://www.sclance.com/pngs/png-file-download/png_file_download_1057991.png', {responseType: "stream"} )
.then(response => {
// Saving file to working directory
response.data.pipe(fs.createWriteStream("todays_picture.png"));
})
.catch(error => {
console.log(error);
});
writeFile 默认情况下将数据编码为UTF8，这在您的情况下可能会成为问题。尝试将编码设置为null并跳过对接收到的数据进行编码。fs.writeFile('/temp/my.pdf', response.data, {encoding: null}, (err) => {...}
如果你只需要声明编码(encoding)，而不需要其他选项，你也可以将其声明为字符串（而不是选项对象）。字符串将被处理为编码值。可以这样使用：
fs.writeFile('/temp/my.pdf', response.data, 'null', (err) => {...}
更多阅读请参见文件系统API的write_file
。node fileSystem API中writeFile函数的材料。 :) - fedesc有一种更简单的方法可以在几行代码内完成：
import fs from 'fs';
const fsPromises = fs.promises;
const fileResponse = await axios({
url: fileUrl,
method: "GET",
responseType: "stream",
});
// Write file to disk (here I use fs.promise but you can use writeFileSync it's equal
await fsPromises.writeFile(filePath, fileResponse.data);
Axios 具有处理 streams 的内部能力，您不需要必须干预低级别的 Node APIs。
请查看 https://axios-http.com/docs/req_config（在文档中找到 responseType 部分以获取所有可用类型）。
createWriteStream却不能？这是否仅将数据写入文件，而没有保存任何与背压相关的数据到内存中？ - Telionconst media_data =await axios({url: url, method: "get", responseType: "arraybuffer"})
writeFile("./image.jpg", Buffer.from(media_data.data), {encoding: "binary"}, console.log)
response.data.pipe和fs.createWriteStream可以解决问题。
koa开发node.js服务器axios通过url获取pdf文件pdf-parse解析pdf文件const Koa = require('koa');
const app = new Koa();
const axios = require('axios')
const fs = require("fs")
const pdf = require('pdf-parse');
const utils = require('./utils')
app.listen(process.env.PORT || 3000)
app.use(async (ctx, next) => {
let url = 'https://path/name.pdf'
let resp = await axios({
url: encodeURI(url),
responseType: 'arraybuffer'
})
let data = await pdf(resp.data)
ctx.body = {
phone: utils.getPhone(data.text),
email: utils.getEmail(data.text),
}
})
const fs = require('fs')
const axios = require('axios').default
const tmp = require('tmp');
const downloadFile = async (fileUrl, outputLocationPath) => {
if(!outputLocationPath) {
outputLocationPath = tmp.fileSync({ mode: 0o644, prefix: 'kuzzle-listener-', postfix: '.jpg' });
}
let path = typeof outputLocationPath === 'object' ? outputLocationPath.name : outputLocationPath
const writer = fs.createWriteStream(path)
const response = await axios.get(fileUrl, { responseType: 'arraybuffer' })
return new Promise((resolve, reject) => {
if(response.data instanceof Buffer) {
writer.write(response.data)
resolve(outputLocationPath.name)
} else {
response.data.pipe(writer)
let error = null
writer.on('error', err => {
error = err
writer.close()
reject(err)
})
writer.on('close', () => {
if (!error) {
resolve(outputLocationPath.name)
}
})
}
})
}
这是一个非常简单的Jest测试:
it('when downloadFile should downloaded', () => {
downloadFile('https://i.ytimg.com/vi/HhpbzPMCKDc/hq720.jpg').then((file) => {
console.log('file', file)
expect(file).toBeTruthy()
expect(file.length).toBeGreaterThan(10)
})
})