Node.js文件上传(Express 4,MongoDB,GridFS,GridFS-Stream)

8
我正在尝试在我的node.js应用程序中设置一个文件API。我的目标是能够直接将文件流写入到gridfs,而无需最初将文件存储到磁盘上。看起来我的创建代码是有效的。我能够将文件上传保存到gridfs。问题在于读取文件。当我尝试通过Web浏览器窗口下载已保存的文件时,我发现文件内容被包装在类似以下内容的东西中:
------WebKitFormBoundarye38W9pfG1wiA100l
Content-Disposition: form-data; name="file"; filename="myfile.txt"
Content-Type: text/javascript

***File contents here***

------WebKitFormBoundarye38W9pfG1wiA100l--

所以我的问题是,在将文件流保存到GridFS之前,我需要做什么来剥离边界信息?这是我正在使用的代码:
'use strict';

var mongoose = require('mongoose');
var _ = require('lodash');

var Grid = require('gridfs-stream');
Grid.mongo = mongoose.mongo;
var gfs = new Grid(mongoose.connection.db);

// I think this works. I see the file record in fs.files
exports.create = function(req, res) {
    var fileId = new mongoose.Types.ObjectId();

    var writeStream = gfs.createWriteStream({
        _id: fileId,
        filename: req.query.name,
        mode: 'w',
        content_type: req.query.type,
        metadata: {
            uploadedBy: req.user._id,
        }
    });

    writeStream.on('finish', function() {
        return res.status(200).send({
            message: fileId.toString()
        });
    });

    req.pipe(writeStream);
};

// File data is returned, but it's wrapped with
// WebKitFormBoundary and has headers.
exports.read = function(req, res) {
    gfs.findOne({ _id: req.params.id }, function (err, file) {
        if (err) return res.status(400).send(err);

        // With this commented out, my browser will prompt
        // me to download the raw file where I can see the
        // webkit boundary and request headers
        //res.writeHead(200, { 'Content-Type': file.contentType });

        var readstream = gfs.createReadStream({
            _id: req.params.id
            // I also tried this way:
            //_id: file._id
        });

        readstream.pipe(res);
    });
};

顺便说一下,我目前没有使用任何中间件来处理这些路由,但是我愿意这样做。我只是不想在将文件发送到gridfs之前将文件存储到磁盘上。

编辑:

根据@fardjad的建议,我添加了node-multiparty模块以进行multipart/form-data解析,并且它有点起作用。但是,当我下载一个上传的文件并与原始文件(作为文本)进行比较时,编码中存在许多差异,并且下载的文件无法打开。这是我的最新尝试。

'use strict';

var mongoose = require('mongoose');
var _ = require('lodash');
var multiparty = require('multiparty');
var Grid = require('gridfs-stream');
Grid.mongo = mongoose.mongo;
var gfs = new Grid(mongoose.connection.db);

exports.create = function(req, res) {
    var form = new multiparty.Form();
    var fileId = new mongoose.Types.ObjectId();

    form.on('error', function(err) {
      console.log('Error parsing form: ' + err.stack);
    });

    form.on('part', function(part) {
        if (part.filename) {
            var writeStream = gfs.createWriteStream({
                _id: fileId,
                filename: part.filename,
                mode: 'w',
                content_type: part.headers['content-type'],
                metadata: {
                    uploadedBy: req.user._id,
                }
            })

            part.pipe(writeStream);
        }
    });

    // Close emitted after form parsed
    form.on('close', function() {
        return res.status(200).send({
            message: fileId.toString()
        });
    });

    // Parse req
    form.parse(req);
};

exports.read = function(req, res) {
    gfs.findOne({ _id: req.params.id }, function (err, file) {
        if (err) return res.status(400).send(err);

        res.writeHead(200, { 'Content-Type': file.contentType });

        var readstream = gfs.createReadStream({
            _id: req.params.id
        });

        readstream.pipe(res);
    });
};

最终编辑:

这是我从另一个开发者那里复制并修改的一个简单实现。这对我来说是有效的: (我仍在尝试弄清楚为什么它在我的原始express应用程序中无法工作。似乎有些干扰)

https://gist.github.com/pos1tron/094ac862c9d116096572

var Busboy = require('busboy'); // 0.2.9
var express = require('express'); // 4.12.3
var mongo = require('mongodb'); // 2.0.31
var Grid = require('gridfs-stream'); // 1.1.1"
var app = express();
var server = app.listen(9002);

var db = new mongo.Db('test', new mongo.Server('127.0.0.1', 27017));
var gfs;
db.open(function(err, db) {
  if (err) throw err;
  gfs = Grid(db, mongo);
});

app.post('/file', function(req, res) {
  var busboy = new Busboy({ headers : req.headers });
  var fileId = new mongo.ObjectId();

  busboy.on('file', function(fieldname, file, filename, encoding, mimetype) {
    console.log('got file', filename, mimetype, encoding);
    var writeStream = gfs.createWriteStream({
      _id: fileId,
      filename: filename,
      mode: 'w',
      content_type: mimetype,
    });
    file.pipe(writeStream);
  }).on('finish', function() {
    // show a link to the uploaded file
    res.writeHead(200, {'content-type': 'text/html'});
    res.end('<a href="/file/' + fileId.toString() + '">download file</a>');
  });

  req.pipe(busboy);
});

app.get('/', function(req, res) {
  // show a file upload form
  res.writeHead(200, {'content-type': 'text/html'});
  res.end(
    '<form action="/file" enctype="multipart/form-data" method="post">'+
    '<input type="file" name="file"><br>'+
    '<input type="submit" value="Upload">'+
    '</form>'
  );
});

app.get('/file/:id', function(req, res) {
  gfs.findOne({ _id: req.params.id }, function (err, file) {
    if (err) return res.status(400).send(err);
    if (!file) return res.status(404).send('');

    res.set('Content-Type', file.contentType);
    res.set('Content-Disposition', 'attachment; filename="' + file.filename + '"');

    var readstream = gfs.createReadStream({
      _id: file._id
    });

    readstream.on("error", function(err) {
      console.log("Got error while processing stream " + err.message);
      res.end();
    });

    readstream.pipe(res);
  });
});
2个回答

5
请看我在github创建的问题评论。我遇到了同样的问题,但是成功地调试了这个问题。我缩小了范围直到我有信心确认问题出在一个express中间件修改了请求。我逐个禁用我的中间件,直到找到罪魁祸首:connect-livereload。
我注释掉了app.use(require('connect-livereload')());,问题就解决了。我相信它将livereload脚本注入到响应中(二进制图像文件)。

因为这最终是导致我的原始问题的原因,所以我将其标记为正确答案。 - Devon Sams

3
似乎文件是通过HTML表单上传的,如果是这种情况,您需要解码multipart/form-data编码数据,重新组装部分(如果需要),并将文件保存到GridFS。对于解析,您可以使用类似node-multiparty的工具。

谢谢!这正是我所需要的。我在我的问题中添加了一些更新的代码,展示了我如何集成node-multiparty。 - Devon Sams
我想我说得太早了。使用我上面添加的最新代码,在上传文件的过程中,然后下载它时,文件编码正在发生变化。我正在尝试使用PDF和JPEG格式的文件。如果我将原始副本与已上传并下载的副本进行文本比较,则每个正文中的字符之间存在许多差异。有什么想法吗? - Devon Sams
我在我的问题中更新了可用的代码。最终我使用了busboy,但多方可能也可以工作。 - Devon Sams

网页内容由stack overflow 提供, 点击上面的
可以查看英文原文,
原文链接