使用Node.js进行AWS-SDK分段上传到S3

Question

我正在尝试使用Node.js的aws-sdk V3将文件上传到S3存储桶。

我知道应该使用以下命令：CreateMultipartUploadCommand，UploadPartCommand等。但是我找不到任何完整的多部分上传的可用示例。

有人能分享一些代码示例吗？

提前致谢。

- Adi Fuchs

Answer 1

我写了一些代码用于此操作：https://gist.github.com/kbanman/0aa36ffe415cdc6c44293bc3ddb6448e 其思路是，每当我们在流中收到一块数据时，就将其上传到S3的一个部分，然后在流结束时完成上传。

但是，S3设置的每个部分的最小大小为5MB（除了最后一部分）。这意味着我们需要缓冲数据，直到我们可以形成5MB的块。我使用了一个转换器，在每次块上传之间在内容流上添加反压力来实现这一点。

另外，由于S3要求按顺序接收部分（尽管要求对部分进行编号），并行化也变得更加困难。

- kbanman