8得票1回答
在流启动之前访问Flink类加载器

在我的项目中,我希望在流执行之前访问Flink用户类加载器。在流执行之前,我一直在实例化自己的类加载器以反序列化类(尽力避免与多个类加载器相关的问题)。 然而,随着我进一步开发,我不得不编写更多的(糟糕的)代码来避免这个问题。 如果我可以访问Flink用户类加载器并使用它,这个问题就可以解...

7得票3回答
在Kubernetes上使用Apache Flink - 如果JobManager崩溃,如何恢复作业

我想在kubernetes上运行一个flink作业,并使用(持久性)状态后端,如果任务管理器崩溃,似乎没有问题,因为它们可以询问作业管理器需要从哪个检查点进行恢复,如果我理解正确的话。 似乎崩溃的作业管理器要更加困难。在flip-6页面上我看到需要zookeeper才能知道作业管理器需要使用...

8得票1回答
Apache Flink - 作业内自定义Java选项未被识别

我已经在flink-conf.yaml中添加了以下行: env.java.opts: "-Ddy.props.path=/PATH/TO/PROPS/FILE" 当启动jobmanager(jobmanager.sh start cluster)时,我可以在日志中看到jvm选项确实被识别了...

10得票1回答
Flink流式处理中事件时间窗口排序

我遇到一些困惑,不太理解事件时间窗口的语义。以下程序生成了一些具有时间戳的元组,这些时间戳被用作事件时间,并进行简单的窗口聚合。我期望输出与输入顺序相同,但实际上输出的顺序不同。为什么输出与事件时间的顺序不一致? import java.util.concurrent.TimeUnit im...

11得票5回答
如何从程序中停止flink流处理作业?

我正在尝试为一个将数据写入kafka话题并从同一kafka话题读取数据的Flink流作业创建JUnit测试,使用FlinkKafkaProducer09和FlinkKafkaConsumer09。我在生产中传递了一个测试数据:DataStream<String> stream = ...

19得票1回答
如何根据数据将一个数据流输出到不同的输出端口?

在Apache Flink中,我有一个元组流。假设是一个非常简单的Tuple1<String>。 元组的值字段可以有任意值(例如'P1'、'P2'等)。可能的取值集合是有限的,但我事先不知道完整的集合(所以可能会有'P362')。 我想根据元组内部的值将该元组写入特定的输出位置。例...

11得票2回答
Apache Flink和Twitter Heron哪个更好?

有很多问题在比较Flink和Spark Streaming,Flink和Storm以及Storm和Heron。 这个问题的起源是因为Apache Flink和Twitter Heron都是真正的流处理框架(不像Spark Streaming那样是微批处理)。Twitter去年停用了Storm...

7得票1回答
Apache Flink示例作业无法运行,显示“找不到作业”。

我尝试运行在flink网站这里找到的SocketWindowWordCount示例教程。 我启动了flink集群,然后运行了一个本地socket服务器: nc -l 9000 从github获取示例源代码后,我进行了编译并运行了作业。 flink run target/SocketW...

8得票1回答
Apache Flink中周期性和间歇性水印有什么区别?

如果有人给出用例示例来解释以下每个带有Apache flink的Watermark API之间的区别将会很有帮助: 定期水印 - AssignerWithPeriodicWatermarks[T] 断点水印 - AssignerWithPunctuatedWatermarks[T]

7得票1回答
如何解决:flink kafka消费者中的java.lang.OutOfMemoryError: Direct buffer memory问题

我们在Kubernetes上运行一个5节点的Flink集群(版本为1.6.3),使用了5个分区的Kafka主题作为数据源。有5个作业从该主题中读取数据(使用不同的消费者组),每个作业的并行度都为5。 每个任务管理器占用10GB的内存,任务管理器堆大小被限制为2GB。摄入负载较小(每秒100-...