156得票14回答
将一个流传送到 s3.upload()函数

我目前正在使用一个名为s3-upload-stream的node.js插件将非常大的文件流式传输到Amazon S3。它使用multipart API,大部分情况下都运行良好。 但是,这个模块已经过时了,我已经对其进行了修改(作者也将其弃用)。今天我遇到了另一个Amazon的问题,我真的很想...

25得票4回答
在可读流上未实现_read()方法

这个问题是如何真正实现可读流(readable stream)的read方法。 我有一个可读流的实现:import {Readable} from "stream"; this.readableStream = new Readable(); 我遇到了这个错误 events.js:1...

23得票4回答
如何将多个可读流(来自多个API请求)导入单个可写流?

- 期望行为 - 实际行为 - 尝试过的方法 - 复现步骤 - 研究 期望行为 将从多个API请求中收到的多个可读流(pipe multiple readable streams)导入单个可写流(single writeable stream)。 API响应来自IBM-Watson...

15得票1回答
为什么尝试写入大文件会导致 JS 堆内存耗尽

这段代码const file = require("fs").createWriteStream("./test.dat"); for(var i = 0; i < 1e7; i++){ file.write("a"); } 运行约30秒后会显示此错误消息<--- Las...

15得票2回答
等待所有流程结束 - 流式传输一个文件夹中的文件

我正在使用pkgcloud中的client.upload上传文件夹中的文件。如何在所有流完成后执行回调?是否有内置方式来注册每个流的“finish”事件,并在它们全部触发后执行回调?var filesToUpload = fs.readdirSync("./local_path&qu...

15得票1回答
错误[ERR_STREAM_PREMATURE_CLOSE]: Node管道流中的过早关闭

我正在使用Node的stream.pipeline功能将一些数据上传到S3。我正在实现的基本思想是从请求中提取文件并将它们写入S3。我有一个pipeline可以成功地从请求中提取zip文件并将其写入S3。但是,我希望我的第二个pipeline执行相同的请求,但解压缩并将未压缩的文件写入S3。管...

14得票3回答
使用gaxios(或axios)进行请求管道传输

目前我正在执行将请求 req 管道传输到目标 url,并将响应管道传回 res 的技巧,就像这样: const request = require('request'); const url = 'http://some.url.com' + req.originalUrl; const ...

11得票1回答
如何使用Node.js创建带有缓冲区的读取流

我有这个json:var myJSON = '{"kind": "person", "fullName": "Rivka3"}'; 我正在尝试使用createReadStream将其上传到bigquery。 当我将其保存在本地时,我成功了:fs.writeFile("/tmp/bq_json_...

11得票1回答
将本地fetch body webstream转换为node流时出现Typescript错误

package.json { "type": "module", "dependencies": { "@types/node": "^18.6.5", "typescript": "^4.7.4" } } tsconfig.json { "compil...

10得票1回答
Node.js 流:'close' 事件 vs 'finish' 事件

NodeJS可写流的'close'和'finish'事件有何区别? 假设我们有一个向磁盘写入数据的可写流,那么在数据是否已经持久化到磁盘后,'close'事件和'finish'事件是否都会被触发?