Kafka MirrorMaker2 自动化消费者偏移量同步

Question

Kafka MirrorMaker2 自动化消费者偏移量同步

apache-kafkastrimziapache-kafka-mirrormaker

6

我正在使用MirrorMaker2进行DR。

这是我正在使用的yaml文件（我使用strimzi创建它）。

所有源群集主题都在目标群集中复制。此外，在目标群集中创建 ...checkpoint.internal 主题，其中包含所有同步的源群集偏移量，但我没有看到这些偏移量被转换为目标群集中的_consumer_offsets 主题，这意味着当我在目标集群中启动消费者（相同的消费者组）时，它将从头开始读取消息。

我的期望是在允许自动化消费者偏移同步后，所有源集群的消费者偏移量都将被转换并存储在目标集群的_consumer_offsets 主题中。

请问是否能有人澄清我的期望是否正确，如果不是，则应该如何工作。

- Inako

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Mickael Maison · Accepted Answer

sync.group.offsets.enabled设置是为了MirrorCheckpointConnector。

我不确定Strimzi如何运行MirrorMaker 2，但我认为您需要像这样设置:

checkpointConnector:
  config:
    checkpoints.topic.replication.factor: 1
    sync.group.offsets.enabled: "true"