Kafka Broker 领导者倾斜

Question

我有一个由10个节点组成的Kafka集群，每个节点上都运行着Kafka Broker和Zookeeper。最近我们新增了3个节点，编号为8、9和10；昨天2个节点(2和4)宕机。我有一个包含60个分区和3个副本的主题。在Kafka管理器中，“Brokers Skewed %”显示为50，“Brokers Leader Skewed %”显示为70。我已经通过用户界面手动重新分配了分区，“Brokers Skewed %”现在为0，但未改变“Brokers Leader Skewed %”。我还运行了以下命令：

$ kafka-preferred-replica-election.sh  --zookeeper localhost:2181 --path-to-json-file test.json

Warning: --zookeeper is deprecated and will be removed in a future version of Kafka.
Use --bootstrap-server instead to specify a broker to connect to.
Created preferred replica election path with ...
Successfully started preferred replica election for partitions Set(..

但这并没有改变任何事情。我可以在UI上看到8号和10号broker没有leader。如何在所有broker之间均衡地重新平衡leader？我阅读过集群滚动重启所有broker可以解决这个问题，但在正常情况下，我不能重启生产Kafka集群。

kafka version: 2.3.0
zookeeper version: 3.4.12

添加了Kafka Manager截图，并用红圈标出了问题。

我将非常感激任何帮助。

- Nishant Kumar

Answer 1

我已经解决了这个问题。如果你仔细查看截图，你会注意到没有一个首选副本（Replicas列的第一项）被分配给8或10代理，并且只有37分区将9号代理作为首选副本，所以Preferred Replica Election无法起作用。

我使用Manual Partition Assignments（将8、9和10代理移动到17个分区（6*3-2）中的副本0），然后运行Reassign Partitions，再运行Preferred Replica Election来洗牌首选副本。

我希望对其他人有帮助。

注意：8、9和10节点是最近添加的。

- Nishant Kumar