将RDS Postgres数据流式传输/逻辑复制到Kinesis的最佳方法

Question

我们的主要数据存储是RDS Postgres数据库。如果我们能流式传输Postgres中发生的所有更改到某个汇点（无论是kinesis、elasticsearch还是任何其他数据存储），那就太好了。

我们使用Postgres 9.5，它支持“逻辑复制”。然而，所有针对此流的扩展都被RDS阻塞了。有一个教程可以将MySQL RDS版本流式传输到kinesis- postgres等效版本将是理想的。目前是否可能实现这一点？

- Sachin Siby

---

自RDS Postgres 9.5.7和9.6.3版本开始，Postgres RDS现在支持wal2json复制输出。 - Michael Warkentin

Answer 1

请查看https://github.com/disneystreaming/pg2k4j。它可以将您的数据库所做的所有更改流式传输到Kinesis。请参阅README以了解如何使用RDS设置此功能的示例。我们已经在生产环境中使用它，并发现它非常有用，可以解决这个确切的问题。免责声明：我写了https://github.com/disneystreaming/pg2k4j。

- camelCase

Answer 2

通过将Amazon RDS for PostgreSQL数据库的修改流式传输到Amazon Kinesis数据流来将中央Amazon关系数据库服务（Amazon RDS）与其他系统集成。 早期文章《使用Amazon Kinesis流式传输数据库更改》描述了如何通过Kinesis通过流式传输修改将中央RDS for MySQL数据库与其他系统集成。 在本文中，我进一步介绍了如何使用AWS Lambda函数捕获Amazon RDS for PostgreSQL中的更改并将这些更改流式传输到Kinesis Data Streams。

https://aws.amazon.com/blogs/database/stream-changes-from-amazon-rds-for-postgresql-using-amazon-kinesis-data-streams-and-aws-lambda/

- Shubhojit Saha

---

你能理解Lambda应该由什么触发吗？它是否应该在固定的时间间隔内每隔几分钟触发一次？谢谢。 - shlomiLan

cur.consume_stream(consume)会持续运行，我们需要一个长时间运行的实例而不是lambda函数。 - Fei Peng