AWS S3存储桶和Google Cloud Storage存储桶之间的实时同步

Question

3

我有一个AWS S3存储桶，在AWS Firehose执行某些操作后，每分钟会接收多个parquet文件。现在，由于我们有多云环境并且后续处理将在GCP云中进行，我必须将这些文件与GCP云存储桶实时同步。

但是我遇到了一个问题，如何在两个云存储桶之间进行实时同步，以便任何文件一旦到达AWS S3，同时也应该到达GCP存储桶。请提供任何意见。

- Abhishek Jain

我不知道是否有专门的 AWS 工具可以做到这一点。但是一种方法是在您的存储桶上启用通知以触发 Lambda 处理新上传的对象。然后，Lambda 将把对象复制到 GCP。 - Marcin

2

您正在使用术语“实时”。Firehose不支持Google Cloud Storage，因此答案自动为NO。如果您不需要实时行为，则可以实现事件系统（例如Lambda），将对象从S3复制到Cloud Storage。 - John Hanley

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Mike Schwartz · Accepted Answer

如果您字面意思上认为S3和GCS的更新是原子性的，那是不可能的。最好的做法是设置一个工作任务，当其中一个更新完成时得到通知并将其复制到另一个位置。您需要在使工作任务对瞬态故障更加稳健方面做一些工作。