如何增加Kafka集群的打开文件数

Question

我们有10台kafka机器，其kafka版本为1.X。

此kafka集群版本属于HDP版本2.6.5。

我们注意到在/var/log/kafka/server.log中出现了以下信息。

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

我们还额外看到了

 Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}

并且

WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. this implies messages have arrived out of order. New: {epoch:0, offset:2227488}, Currnet: {epoch 2, offset:261} for Partition: cars-list-75 {kafka.server.epochLeaderEpocHFileCache}

所以关于这个问题 -

ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files

how to increase the MAX open files , in order to avoid this issue

更新：

在Ambari中，我们从 kafka --> config 中看到了以下参数。

这个参数是否应该增加？

- jessica

---

"Too many open files means" 进程已经用尽了可用的 Linux 文件描述符。您可能有一个较低的限制，或者您的 Kafka 可能由于错误而泄漏文件描述符。请参阅此链接 https://www.cyberciti.biz/faq/linux-increase-the-maximum-number-of-open-files/。 - bpgergo

也许这个问题是重复的：https://stackoverflow.com/questions/52032237/kafka-too-many-open-files - HISI

Answer 1

可以这样做：

echo "* hard nofile 100000
* soft nofile 100000" | sudo tee --append /etc/security/limits.conf

那么您应该重新启动。

- H.Ç.T

---

有没有其他选项可以更新linits.conf而不需要重新启动？ - jessica

@jessica 我猜不是。 - H.Ç.T

@Jessica，也许你可以尝试这个：https://superuser.com/a/1027505 - H.Ç.T

@jessica 我看到了更新。我认为这很有道理，你应该试一试。但是对于Ambari我一无所知，抱歉。 - H.Ç.T