我正在为高吞吐量的流式应用程序(每秒数千万事件)开发基于
我可以保证Flink作业的最大并行度将小于或等于源Kafka主题中的分区数量,因此逻辑上不需要洗牌。这个StackOverflow问题的答案表明,可能可以以与Flink期望相兼容的方式将数据写入Kafka,然后使用
提前感谢您。
DataStream
的Flink应用程序。数据从Kafka主题中消费,并已根据某个键分片。我的意图是在Flink端创建特定于键的状态以运行自定义分析。我无法理解的主要问题是如何在不通过keyBy()
强制进行传入数据重分区的情况下创建键控状态。我可以保证Flink作业的最大并行度将小于或等于源Kafka主题中的分区数量,因此逻辑上不需要洗牌。这个StackOverflow问题的答案表明,可能可以以与Flink期望相兼容的方式将数据写入Kafka,然后使用
reinterpretAsKeyedStream()
。对于这个应用程序,我很乐意这样做。有人能分享所需的步骤吗?提前感谢您。