48得票3回答
Kafka Connect JDBC与Debezium CDC的比较

JDBC Connector和Debezium SQL Server CDC Connector(或其他关系型数据库连接器)之间的区别是什么?在搜索两个关系型数据库同步解决方案时,应该选择哪一个? 不确定这个讨论是否应该是CDC与JDBC Connector之间的比较,而不是Debezium...

23得票1回答
Debezium在使用Postgres 11的默认插件pgoutput时无法访问文件"decoderbufs"。

我是kafka的新手,正在尝试使用debezium postgres连接器。即使我使用标准插件的postgres版本11,我仍然遇到以下错误: org.apache.kafka.connect.errors.ConnectException: org.postgresql.util.PSQLE...

15得票4回答
事件溯源使用数据库CDC被认为是好的架构吗?

当我们谈论采购事件时,我们有一个简单的双写架构,可以将数据写入数据库,然后将事件写入队列(如Kafka)。其他下游系统可以读取这些事件并相应地采取行动/使用它们。 但是问题在于尝试使DB和事件同步时会出现问题,因为需要对这些事件进行排序才能理解它们。 为了解决这个问题,人们鼓励使用数据库提...

12得票1回答
Debezium与AWS MSK的NOT_ENOUGH_REPLICAS问题

我在AWS上有一个运行中的Debezium集群,并没有任何问题。我想尝试一下AWS MSK。于是我启动了一个集群。然后我启动了一个EC2以运行我的连接器。 然后安装了confluent-kafka。sudo apt-get update && sudo apt-get ins...

12得票1回答
Kafka生产者无法验证没有主键的记录并返回InvalidRecordException。

我的kafka生产者出现了错误。我使用的是Debezium Kafka连接器V1.1.0 Final和Kafka 2.4.1。对于具有主键(pk)的表,所有表都被清除了,但不幸的是对于没有主键(pk)的表,它给了我这个错误: [2020-04-14 10:00:00,096] INFO ...

11得票1回答
执行WildFly Swarm插件目标时出现问题,API不兼容,java.lang.AbstractMethodError。

我正在尝试在 debezium-examples GitHub 存储库 中构建 debezium-swarm-demo 应用程序。 构建未能完成,并给出以下错误:Execution default of goal org.wildfly.swarm:wildfly-swarm-plugin:...

10得票3回答
使用Confluent Elasticsearch汇聚器无法将Kafka主题数据转换为结构化JSON

我正在使用Kafka构建数据管道。数据流程如下:捕获MongoDB中的数据变化并将其发送到Elasticsearch。 MongoDB 版本 3.6 分片集群 Kafka Confuent Platform 4.1.0 mongoDB源连接器:debezium 0.7.5 e...

10得票1回答
复制槽已存在。

无论何时我重新启动debezium kafka-connect容器,或者部署另一个实例,我都会收到以下错误消息: io.debezium.jdbc.JdbcConnectionException: ERROR: replication slot "debezium" already ex...

10得票3回答
使用表白名单选项更新Debezium MySQL连接器

我正在使用Debezium (0.7.5) MySQL连接器,我想了解如果我想使用选项table.whitelist更新此配置,最佳方法是什么。 假设我创建了一个连接器,类似于以下内容: curl -i -X POST -H "Accept:application/json" -H "C...

9得票1回答
Kafka Connect | 由于冲突操作无法完成请求

1)我们拥有一个由3个节点组成的kafka和kafka连接群集。 2)我们仅在分布式模式下在kafka节点上运行kafka-connect。 3)当我尝试使用以下配置创建连接器时: { "name": "connector-state-0", "confi...