从URL获取图像并将其存储到S3

Question

目标是每天使用AWS Lambda从URL复制特定的jpg文件到S3 Bucket中。这似乎是一个超级简单的Lambda函数，但它却无法正常工作。我已经在本地NPM项目中设置了这个功能，然后上传了压缩文件到AWS Lambda控制台。下面的代码运行没有错误，但是没有复制图片。非常感谢您能提供任何帮助。

"use strict";

const AWS = require("aws-sdk");
const Jimp = require("jimp");
const s3 = new AWS.S3();
const imageType = "image/jpeg";
const bucket = 'mybucket';

exports.handler = (event, context, callback) => {
    let objectKey = 'myimage.jpg';

    Jimp.read('sampleURL.com/image.jpg')
    .then(image => {
        s3.putObject({
            Bucket: bucket,
            Key: objectKey,
            Body: image,
            ContentType: imageType
        })
    })
    .catch(err => {
        // Handle an exception.
    });


};

AWS CloudWatch 日志

2019-10-24T12:48:23.105Z    bac7d80e-5544-4ea5-ae12-478281338389    INFO    { Error: Could not find MIME for Buffer <null>
    at Jimp.parseBitmap (/var/task/node_modules/@jimp/core/dist/utils/image-bitmap.js:120:15)
    at Jimp.parseBitmap (/var/task/node_modules/@jimp/core/dist/index.js:506:32)
    at /var/task/node_modules/@jimp/core/dist/index.js:448:15
    at /var/task/node_modules/@jimp/core/dist/index.js:176:14
    at /var/task/node_modules/@jimp/core/dist/request.js:66:9
    at IncomingMessage.<anonymous> (/var/task/node_modules/phin/lib/phin.compiled.js:1:2100)
    at IncomingMessage.emit (events.js:203:15)
    at IncomingMessage.EventEmitter.emit (domain.js:448:20)
    at endReadableNT (_stream_readable.js:1145:12)
    at process._tickCallback (internal/process/next_tick.js:63:19) methodName: 'constructor' }
END RequestId: bac7d80e-5544-4ea5-ae12-478281338389
REPORT RequestId: bac7d80e-5544-4ea5-ae12-478281338389  Duration: 612.63 ms Billed Duration: 700 ms Memory Size: 128 MB Max Memory Used: 97 MB  Init Duration: 557.69 ms    

- RyanK

---

你在// 处理异常的地方有什么吗？如果没有任何内容，那可能是真正的异常被隐藏了起来。使用console.log(err)可以帮助你找到它。 - dmigo

如果您能够分享Lambda在CloudWatch中的输出以进行调试，那将非常棒。 - filipebarretto

关于日志记录的决定很明智。这记录了我在上面添加的一个MIME和缓冲区问题。搜索后发现有几个未解决的git线程。目前，我非常希望能够得到关于使用不同脚本下载并保存图像到S3的建议。 - RyanK

Answer 1

如果有人需要帮助，那么这个图像需要被写入缓冲区。以下行代码可以修复它：

const buffer = await image.getBufferAsync(imageType);

然后，缓冲区被用于S3 Body参数。因此完整的脚本如下：

    "use strict";

    const AWS = require("aws-sdk");
    const Jimp = require("jimp");
    const s3 = new AWS.S3();
    const imageType = "image/jpeg";
    const bucket = 'bucketxzy';

    exports.handler = async (event, context) => {
        let objectKey = 'sampleimage.jpeg';
        const image = await Jimp.read('https://www.sampleurl.com/sampleimage.jpg/');
        const buffer = await image.getBufferAsync(imageType);

        return s3.putObject({
            Bucket: bucket,
            Key: objectKey,
            Body: buffer,
            ContentType: imageType
        }).promise();


    };

- RyanK

---

这种方法的缺点是你将整个图像下载到内存中，而不是流式传输图像。没有理由一个正确编写的流式解决方案不能工作。 - jarmod

救了我的命，该死！ - Sowmo0509

Answer 2

在这些情况下，常见问题之一是权限错误。为了允许AWS Lambda在S3中执行PutObject操作，您需要在Lambda执行角色中设置这样的权限。

以下是一个允许Lambda在S3中执行任何操作的策略示例：

{
    "Version": "2012-10-17",
    "Statement": [
{
            "Effect": "Allow",
            "Action": [
                "s3:ListAllMyBuckets",
                "s3:GetBucketLocation"
            ],
            "Resource": "*"
        },
        {
            "Effect": "Allow",
            "Action": "s3:*",
            "Resource": [
                "arn:aws:s3:::ExampleBucketName",
                "arn:aws:s3:::ExampleBucketName/*"
            ]
        }
    ]
}

出于安全考虑，仅限制为您实际需要的操作，例如 PutObject，并且您可以在此链接上获取更多信息。

- filipebarretto

---

谢谢你的建议，但是这个没有必要的权限。我正在使用另一个函数中相同的角色来写入S3。 - RyanK

Answer 3

这是一个从HTTP URL流式传输文件到S3的示例。它使用了promises/async/await而不是回调函数，并且放弃了我对Jimp包知之甚少的选择，而选择了更传统的fetch API：

注意：如果在上传到S3时没有明确指定content-type，则会被设置为application/octet-stream，这在客户端下载对象时可能会出现问题。因此，这段代码首先确定文件的content type，并在流式传输到S3时进行设置。

const AWS = require('aws-sdk');
const fetch = require('node-fetch');
const stream = require('stream');
const s3 = new AWS.S3();

const uploadStream = ({ Bucket, Key, ContentType }) => {
  const pass = new stream.PassThrough();
  return {
    writeStream: pass,
    promise: s3.upload({ Bucket, Key, ContentType, Body: pass }).promise(),
  };
}

const uploadFetch = async ({ url, Bucket, Key, ContentType }) => {
  const response = await fetch(url);
  const { writeStream, promise } = uploadStream({Bucket, Key, ContentType});
  response.body.pipe(writeStream);
  return promise;
}

exports.handler = async (_event, _context) => {
  const source_jpeg = {
    Key: 'audi.jpeg',
    Bucket: 'mybucket',
    url: 'https://upload.wikimedia.org/wikipedia/commons/0/08/Audi_A3_2015.jpeg',
  };

  // HEAD the source image to get content type
  const rc_head = await fetch(source_jpeg.url, {method: 'HEAD'});
  const content_type = rc_head.headers.get('content-type');
  console.log('head:', rc_head.status, rc_head.statusText, content_type);

  try {
    // GET the source image and stream it to S3
    const parms = {...source_jpeg, ContentType: content_type};
    const rc_upload = await uploadFetch(parms);
    console.log('get/upload jpeg:', rc_upload);
  } catch(e) {
    console.log(e);
  }
};

此外，请确保您的Lambda函数配置了合理的超时时间（默认超时时间为3秒）。

- jarmod

---

谢谢你的建议，但是这个返回的错误信息和我之前发布的一样：“errorMessage 无法找到缓冲区<null>的MIME类型”。 - RyanK

@RyanK，这段代码对于普通的JPEG文件（比如我在代码中使用的那个）是正常工作的。它不会出现“无法找到缓冲区的MIME类型”的错误信息。这个错误信息来自Jimp包，而我在我的回答中并没有使用它，所以我猜想你一定修改了我的回答，引入了Jimp，并重新引入了同样的错误。 - jarmod