我们有10台kafka机器,其kafka版本为1.X。
此kafka集群版本属于HDP版本2.6.5。
我们注意到在/var/log/kafka/server.log中出现了以下信息。
所以关于这个问题 -
此kafka集群版本属于HDP版本2.6.5。
我们注意到在/var/log/kafka/server.log中出现了以下信息。
ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files
我们还额外看到了
Broker 21 stopped fetcher for partition ...................... because they are in the failed log dir /kafka/kafka-logs {kafka.server.ReplicaManager}
并且
WARN Received a PartitionLeaderEpoch assignment for an epoch < latestEpoch. this implies messages have arrived out of order. New: {epoch:0, offset:2227488}, Currnet: {epoch 2, offset:261} for Partition: cars-list-75 {kafka.server.epochLeaderEpocHFileCache}
所以关于这个问题 -
ERROR Error while accepting connection {kafka.network.Accetpr}
java.io.IOException: Too many open files
how to increase the MAX open files , in order to avoid this issue
更新:
在Ambari中,我们从 kafka --> config
中看到了以下参数。
这个参数是否应该增加?