一个 Kafka 主题可以处理多少个消费者组？

Question

11

假设我有一个Kafka主题，大约有10个分区。我了解到每个消费者组在任何时候都应该有10个消费者从主题中读取以实现最大并行性。

但是，我想知道是否有任何直接规则来确定主题在任何给定时间点可以处理的消费者组数量（我最近在面试中被问到）。据我所知，这取决于经纪人的配置，以便它可以处理多少连接在任何给定时间点。

然而，只是想知道在给定时间点可以扩展多少最大的消费者组（每个组都有10个消费者）？

- mythic

3个回答

7

在Kafka中，对于特定主题，可以实例化的消费者组数量没有显式限制。但是，您应该知道，消费者组越多，对网络利用率的影响就越大。

- Giorgos Myrianthous

0

从概念上讲，您可以将消费者组视为单个逻辑订阅者，该订阅者由多个进程组成。作为多订阅者系统，Kafka自然支持对于给定主题的任意数量的消费者组，而不会复制数据（实际上，额外的消费者非常便宜）。

根据Kafka 0.9的API文档，Kafka可以支持给定主题的任意数量的消费者组。

- Shivam

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- ozma · Accepted Answer

如上所述，多达数千个连接应该没问题。对于那些会降落在这里（比如我）并且想知道如何处理成千上万的连接（例如将IoT设备直接连接到kafka），似乎 kafka 并不适用，至少根据此博客是这样说的。