在AWS S3中对文件进行一行编辑

Question

在AWS S3中对文件进行一行编辑

3

我有许多非常大的文件（> 6 GB）存储在 AWS S3 存储桶中，需要进行非常小的编辑。我可以通过将这些文件拉到服务器上，使用 `sed` 或 `perl` 编辑关键字，然后再推送回去来编辑这些文件，但这非常耗时，尤其是对于一个 6 或 7 GB 的文本文件只做一个单词编辑。我使用的程序使 AWS S3 像随机访问文件系统一样，https://github.com/s3fs-fuse/s3fs-fuse，但这太慢了，所以不是一个选择。如何通过脚本编辑这些文件或使用 `sed`，而不需要从 S3 拉取和推送回去这个昂贵又缓慢的步骤呢？

- con

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Alexis Wilke · Accepted Answer

你无法这样做。

你使用的库确实是正确的：下载现有文件，本地进行编辑，然后将结果推回。这总是会非常慢。

使用sed 可能可以使它更快，假设你现有的库分为三个步骤。但是，在完成阅读之前，您不能将结果直接发送回并覆盖文件（至少我建议不要这样做）。

如果这是一次性过程，则速度较慢不应成为问题。如果您经常执行此操作，则建议您使用其他类型的存储。这可能不适合您的应用程序。