我对Kafka有一个概念问题。
我们有许多机器在一个主题上充当消费者,这些机器运行在不同的硬件设置上,并且会有吞吐量更高的消费者。现在,一个消费者与一个或多个分区之间存在直接关系。
我该如何防止一个分区(慢速消费者)比其他分区(快速消费者)更快地累积未消费的消息,从而导致分区不平衡?
我想到的一个想法是定期强制重新平衡,但似乎通常会再次将相同的消费者分配给相同的队列。如果它们被随机重新分配,那么我的问题就解决了。
我会感激任何关于此问题的提示。
谢谢, 来自柏林的问候, Dennis
我们有许多机器在一个主题上充当消费者,这些机器运行在不同的硬件设置上,并且会有吞吐量更高的消费者。现在,一个消费者与一个或多个分区之间存在直接关系。
我该如何防止一个分区(慢速消费者)比其他分区(快速消费者)更快地累积未消费的消息,从而导致分区不平衡?
我想到的一个想法是定期强制重新平衡,但似乎通常会再次将相同的消费者分配给相同的队列。如果它们被随机重新分配,那么我的问题就解决了。
我会感激任何关于此问题的提示。
谢谢, 来自柏林的问候, Dennis