在Amazon EC2和S3之间传输文件

Question

我有一些在 EC2 上运行我的应用程序后生成的日志文件。我想首先将日志文件上传到 S3 存储桶中，然后运行一个 MapReduce 作业，最后将输出文件下载回 EC2。

我最好的方法是如何从 EC2 和 S3 中上传和下载文件？如果我使用 Linux 实例，是否可以使用 Shell 脚本自动化这个过程？另外，我需要修改 S3 存储桶上的访问权限吗？

- user330973

Answer 1

这是我用于s3的另一个工具：http://s3tools.org/s3cmd

- Rodney Quillo

---

看过文档，听起来正是我想要的。干杯。 - Satya Kalluri

还有官方项目 https://github.com/aws/aws-cli使用 aws s3 - Putna

Answer 2

你可以使用亚马逊的 REST 工具来完成这个任务。你需要提供你的访问密钥和安全密钥。使用这些密钥，你可以使用通常已经安装在机器上的工具将一个文件上传到 s3 服务器。

要获取它，你可以直接使用 wget。

- Amir Raminfar