Kafka Streams - 淹没 Kafka 日志

Question

Kafka Streams - 淹没 Kafka 日志

3

我在使用Kafka Streams时发现它会使我的kafka日志产生大量的日志消息，例如：

[2019-04-17 09:06:16,541] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000076-repartition-0, dir=/opt/kafka/data/logs] Incrementing log start offset to 316423 (kafka.log.Log) [2019-04-17 09:06:16,545] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000033-repartition-2, dir=/opt/kafka/data/logs] Incrementing log start offset to 3394 (kafka.log.Log) 
[2019-04-17 09:06:16,546] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000012-repartition-1, dir=/opt/kafka/data/logs] Incrementing log start offset to 3102 (kafka.log.Log) 
[2019-04-17 09:06:16,549] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000067-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 4168 (kafka.log.Log) 
[2019-04-17 09:06:16,551] INFO [Log partition=my-application-KSTREAM-AGGREGATE-STATE-STORE-0000000086-repartition-3, dir=/opt/kafka/data/logs] Incrementing log start offset to 329670 (kafka.log.Log)

这真的很令人不安，因为它会淹没日志，使我无法看到其他任何内容（同时还会消耗资源）。

为什么Kafka Streams的某些内部主题会发生这种情况，而其他主题却没有？

如何禁用它？

- user1028741

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- Matthias J. Sax · Accepted Answer

Kafka Streams会在数据处理后积极清除重新分配主题，以释放Kafka集群中的存储空间（参见https://issues.apache.org/jira/browse/KAFKA-6150）。无法禁用此功能。

作为解决方法，您可以重新配置重新分配主题配置参数segment.bytes和segment.ms，并将它们设置为更高的值。请注意，这将使数据清除效果不佳，从而导致Kafka集群中使用更多磁盘空间。