使用node.js和knox将八位字节流从请求流式传输到S3

Question

我将尝试使用node.js上的knox直接流式传输octet-stream到S3。这个octet-stream是从浏览器上传的XHR文件。我原以为只需将请求流式传输到putStream中即可，但事实并非如此。

以下是我的代码：

var client = knox.createClient({ 
           // AWS credentials here
         });
if (req.headers['content-type'].match(/application\/octet-stream/i)) {

  var filename = '/'+req.headers['x-file-name'];

  client.putStream(req, filename, function(err, res){
    // TODO: Catch errors
    body = '{"success":"true"}'
    res.writeHead(200, 
      { 'Content-Type':'text/html'
      , 'Content-Length':body.length
      })
    res.end(body)
  });

}

我收到的错误信息：

TypeError: Bad argument
    at Object.stat (fs.js:354:11)
    at Client.putStream (./lib/knox/client.js:181:6)

- DaveJ

Answer 1

我正在做类似这样的事情：

app.post('/uploadAmazon', function(req, res) {  
var params = req.query;

var request = client.request("PUT", '/' + req.header('x-file-name') + '?partNumber=' + params.partNumber 
        + '&uploadId=' + params.uploadId, {
    'Content-Length' : req.header('Content-Length')
} );

req.on('data', function(data){
    request.write(data);
});


request.on('response', function(response) {
    console.log('Partial ' + params.partNumber + ' statusCode: ' + response.statusCode);
    if (response.statusCode== 200) {
        uploadMap[params.id].currentSize++;
        uploadMap[params.id].completeXmlArray[+(params.partNumber) - 1] = '<Part><PartNumber>' + params.partNumber + '</PartNumber><ETag>' + response.headers.etag + '</ETag></Part>' ; 

        if (uploadMap[params.id].currentSize == uploadMap[params.id].totalSize) {
            uploadMap[params.id].uploadId = params.uploadId;
            completeSend(uploadMap[params.id]);
        }
    }
}).end();

res.end();

假设我从POST请求中获取文件名、零件号和uploadId。});

- Thiago Miranda de Oliveira

Answer 2

我相信client.putStream接受4个参数，就像这样：

client.putStream(stream, filepath, {
  'Content-Length': file.length,
  'Content-Type': 'application/octet-stream',
  'x-amz-acl': 'private'
}, function(err, res) {
  ...
});

- Paweł Gościcki

Answer 3

如果您使用的是比0.4.5旧得多的node.js版本，请升级。

查看util模块，并使用util.pump将文件从输入流复制到输出流。如果必须先下载文件，则只需使用文件的ReadStream作为输入流。

此外，请查看util.pump的Javascript代码，因为我怀疑您还没有完全掌握node.js中异步I/O的工作原理。

- Michael Dillon