我正在使用Flink进行一些测试，以便与其他流处理平台进行比较。测试数据源是一个具有不同流量的kafka主题，我试图弄清楚Flink是否跟得上。
是否有一种方法可以知道Flink对kafka消费者施加了多少“背压”？也就是说，它是否跟得上节奏？
2个回答
3
Apache Kafka项目提供了一些工具，可以从Zookeeper获取主题和消费者信息。在这种情况下，您可以使用
该工具将输出“偏移滞后”，即分区中最新偏移量与当前消费者位置之间的差异。
请注意，Flink大约以检查点间隔的频率更新Zookeeper中的偏移量，因此您看到的信息不是100％准确的，因为它没有考虑正在飞行的记录。但它会给你一个很好的想法，无论是积压还是一切都顺利。
顺便说一句，如果您发现Flink无法按照生成的方式消耗主题中的数据，请在邮件列表上向Flink开发人员寻求帮助。在我最近进行的一些实验中，我发现Flink的Kafka Consumer可以高吞吐量读取。
ConsumerOffsetChecker。该工具将输出“偏移滞后”，即分区中最新偏移量与当前消费者位置之间的差异。
请注意，Flink大约以检查点间隔的频率更新Zookeeper中的偏移量，因此您看到的信息不是100％准确的，因为它没有考虑正在飞行的记录。但它会给你一个很好的想法，无论是积压还是一切都顺利。
顺便说一句，如果您发现Flink无法按照生成的方式消耗主题中的数据，请在邮件列表上向Flink开发人员寻求帮助。在我最近进行的一些实验中，我发现Flink的Kafka Consumer可以高吞吐量读取。
- Robert Metzger
1
在kafka_2.11-0.10.0.0中，消费者offset检查器已被弃用，而kafka-consumer-groups会根据组进行偏移检查。
在我的情况下，就flinkkafkaconsumer而言，我没有看到任何组被列在kafka-consumer-groups中。
对于flink-kafka-consumer而言，“group.id”对于偏移监控并不是很有用。您可以在flink kafka consumer groupId not working中找到更多信息。
在我的情况下，就flinkkafkaconsumer而言，我没有看到任何组被列在kafka-consumer-groups中。
对于flink-kafka-consumer而言，“group.id”对于偏移监控并不是很有用。您可以在flink kafka consumer groupId not working中找到更多信息。
- Mojes
网页内容由stack overflow 提供, 点击上面的可以查看英文原文，
原文链接
原文链接