8得票4回答
Flink 1.13.2:NoResourceAvailableException

这是在亚马逊的Kinesis数据分析Flink环境中使用Flink 1.13.2运行的。 此应用程序正在运行Kafka主题。当主题具有较小的流量容量时,此应用程序可以正常运行,但当流量更大时,我会遇到此错误。如何进行故障排除、调整和修复? 我看到了一些类似的SO问题,比如这个,但那显然是较...

8得票1回答
Apache Flink:由TupleSerializer引起的空指针异常

当我执行Flink应用程序时,它会给我一个NullPointerException: 的错误提示。 2017-08-08 13:21:57,690 INFO com.datastax.driver.core.Cluster - New Cassandra host /127.0.0.1...

8得票1回答
Apache Flink: 状态何时进行序列化/反序列化?

Flink在何时进行操作状态的序列化/反序列化?是在每次get/update时还是基于检查点?状态后端是否有影响? 我怀疑,在具有多样化键(数百万)和每个键每秒数千个事件的键控流情况下,序列化/反序列化可能是一个大问题。我对吗?

8得票1回答
Flink作业突然崩溃并显示错误:在消费分区时遇到错误

我的一个流式作业运行了1天10小时后失败了。其中一个子任务突然失败,并导致整个作业崩溃。由于我设置了restart_strategy,作业自动重新启动,但再次以相同的错误崩溃。我找到了任务管理器的日志,在此期间任务失败了,但这对我进行调试并不是很有帮助。有人能提出更好的方法吗?谢谢。 故障周...

8得票2回答
Apache Flink中shuffle()和rebalance()的区别

我正在撰写我的学士学位论文,主题是比较Apache Spark Streaming和Apache Flink(仅流式处理),我刚刚看到了Flink文档中的“物理分区”部分。问题在于该文档没有很好地解释这两个转换如何工作。直接从文档中摘录如下: - shuffle(): 根据均匀分布将元素随机...

8得票2回答
Apache Flink:DataStream API中的侧输出(side outputs)和split()有什么区别?

Apache Flink 提供了一个 split API,可以将数据流分支: val splited = datastream.split { i => i match { case i if ... => Seq("red", "blue") case _ =&gt...

8得票1回答
Apache Flink:设置并行性的指南?

我希望得到一些简单的规则或指导方针,以确定operator或job并行度应设置为什么值。对我来说,它似乎应该是一个小于等于可用任务槽数量的数字? 例如,假设我有两台task manager机器,每台机器上有4个任务槽。假设在集群上没有其他作业正在运行,在像filter和map这样的操作中,我...

8得票1回答
在流启动之前访问Flink类加载器

在我的项目中,我希望在流执行之前访问Flink用户类加载器。在流执行之前,我一直在实例化自己的类加载器以反序列化类(尽力避免与多个类加载器相关的问题)。 然而,随着我进一步开发,我不得不编写更多的(糟糕的)代码来避免这个问题。 如果我可以访问Flink用户类加载器并使用它,这个问题就可以解...

8得票1回答
Apache Flink - 作业内自定义Java选项未被识别

我已经在flink-conf.yaml中添加了以下行: env.java.opts: "-Ddy.props.path=/PATH/TO/PROPS/FILE" 当启动jobmanager(jobmanager.sh start cluster)时,我可以在日志中看到jvm选项确实被识别了...

8得票11回答
在Flink 1.11.1中找不到可执行应用程序的ExecutorFactory。

首先,我阅读了此帖子,关于同样的问题(链接),并尝试按照相同的解决方案进行操作(使用mvn创建一个新的快速入门项目并将代码迁移到其中),但是即使在IntelliJ的开箱即用情况下也无法正常工作。 这是我的pom.xml与另一个pom.xml中的依赖项混合在一起。我做错了什么? <!-...