当我在Apache Flink中运行一个SocketWindowWordCount程序时,它显示了一个警告: 警告:org.apache.flink.api.java.ClosureCleaner存在非法反射访问 警告:发生了一次非法的反射访问操作 警告:org.apache.fli...
这是在亚马逊的Kinesis数据分析Flink环境中使用Flink 1.13.2运行的。 此应用程序正在运行Kafka主题。当主题具有较小的流量容量时,此应用程序可以正常运行,但当流量更大时,我会遇到此错误。如何进行故障排除、调整和修复? 我看到了一些类似的SO问题,比如这个,但那显然是较...
我正在撰写我的学士学位论文,主题是比较Apache Spark Streaming和Apache Flink(仅流式处理),我刚刚看到了Flink文档中的“物理分区”部分。问题在于该文档没有很好地解释这两个转换如何工作。直接从文档中摘录如下: - shuffle(): 根据均匀分布将元素随机...
我正在尝试编写一些关于Apache Flink的用例。我经常遇到一个错误: could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInform...
在Apache Flink中,我有一个元组流。假设是一个非常简单的Tuple1<String>。 元组的值字段可以有任意值(例如'P1'、'P2'等)。可能的取值集合是有限的,但我事先不知道完整的集合(所以可能会有'P362')。 我想根据元组内部的值将该元组写入特定的输出位置。例...
Apache Flink 提供了一个 split API,可以将数据流分支: val splited = datastream.split { i => i match { case i if ... => Seq("red", "blue") case _ =>...
在我们的项目中,有一个 Flink (1.1.3) 流处理作业,它从一个 Kafka 队列读取数据,进行映射函数转换并写入另一个队列。但是在我们引入流程的一部分输出 REST 请求之后,发现出现了问题。为了解决这个问题,我们使用了 PlayFramework 的 WSClient (因为在我们...
我遇到一些困惑,不太理解事件时间窗口的语义。以下程序生成了一些具有时间戳的元组,这些时间戳被用作事件时间,并进行简单的窗口聚合。我期望输出与输入顺序相同,但实际上输出的顺序不同。为什么输出与事件时间的顺序不一致? import java.util.concurrent.TimeUnit im...
我的一个流式作业运行了1天10小时后失败了。其中一个子任务突然失败,并导致整个作业崩溃。由于我设置了restart_strategy,作业自动重新启动,但再次以相同的错误崩溃。我找到了任务管理器的日志,在此期间任务失败了,但这对我进行调试并不是很有帮助。有人能提出更好的方法吗?谢谢。 故障周...
我正在尝试为一个将数据写入kafka话题并从同一kafka话题读取数据的Flink流作业创建JUnit测试,使用FlinkKafkaProducer09和FlinkKafkaConsumer09。我在生产中传递了一个测试数据:DataStream<String> stream = ...