org.apache.flink.api.java.ClosureCleaner存在非法反射访问问题
当我在Apache Flink中运行一个SocketWindowWordCount程序时，它显示了一个警告： 警告：org.apache.flink.api.java.ClosureCleaner存在非法反射访问 警告：发生了一次非法的反射访问操作 警告：org.apache.fli...
Flink 1.13.2：NoResourceAvailableException
这是在亚马逊的Kinesis数据分析Flink环境中使用Flink 1.13.2运行的。 此应用程序正在运行Kafka主题。当主题具有较小的流量容量时，此应用程序可以正常运行，但当流量更大时，我会遇到此错误。如何进行故障排除、调整和修复？ 我看到了一些类似的SO问题，比如这个，但那显然是较...
Apache Flink中shuffle()和rebalance()的区别
我正在撰写我的学士学位论文，主题是比较Apache Spark Streaming和Apache Flink（仅流式处理），我刚刚看到了Flink文档中的“物理分区”部分。问题在于该文档没有很好地解释这两个转换如何工作。直接从文档中摘录如下： - shuffle(): 根据均匀分布将元素随机...
无法找到类型为 org.apache.flink.api.common.typeinfo.TypeInformation[...] 的证据参数的隐式值
我正在尝试编写一些关于Apache Flink的用例。我经常遇到一个错误： could not find implicit value for evidence parameter of type org.apache.flink.api.common.typeinfo.TypeInform...
如何根据数据将一个数据流输出到不同的输出端口？
在Apache Flink中，我有一个元组流。假设是一个非常简单的Tuple1<String>。 元组的值字段可以有任意值（例如'P1'、'P2'等）。可能的取值集合是有限的，但我事先不知道完整的集合（所以可能会有'P362'）。 我想根据元组内部的值将该元组写入特定的输出位置。例...
Apache Flink：DataStream API中的侧输出（side outputs）和split()有什么区别？
Apache Flink 提供了一个 split API，可以将数据流分支： val splited = datastream.split { i => i match { case i if ... => Seq("red", "blue") case _ =>...
Flink和Play 2.5之间的Akka版本冲突
在我们的项目中，有一个 Flink (1.1.3) 流处理作业，它从一个 Kafka 队列读取数据，进行映射函数转换并写入另一个队列。但是在我们引入流程的一部分输出 REST 请求之后，发现出现了问题。为了解决这个问题，我们使用了 PlayFramework 的 WSClient (因为在我们...
Flink流式处理中事件时间窗口排序
我遇到一些困惑，不太理解事件时间窗口的语义。以下程序生成了一些具有时间戳的元组，这些时间戳被用作事件时间，并进行简单的窗口聚合。我期望输出与输入顺序相同，但实际上输出的顺序不同。为什么输出与事件时间的顺序不一致？ import java.util.concurrent.TimeUnit im...
Flink作业突然崩溃并显示错误：在消费分区时遇到错误
我的一个流式作业运行了1天10小时后失败了。其中一个子任务突然失败，并导致整个作业崩溃。由于我设置了restart_strategy，作业自动重新启动，但再次以相同的错误崩溃。我找到了任务管理器的日志，在此期间任务失败了，但这对我进行调试并不是很有帮助。有人能提出更好的方法吗？谢谢。 故障周...
如何从程序中停止flink流处理作业？
我正在尝试为一个将数据写入kafka话题并从同一kafka话题读取数据的Flink流作业创建JUnit测试，使用FlinkKafkaProducer09和FlinkKafkaConsumer09。我在生产中传递了一个测试数据：DataStream<String> stream = ...