7得票2回答
Apache Flink:当我重新启动应用程序时,我的应用程序无法从检查点中恢复。

我有一个Flink工作任务,其中我正在从文件夹中读取文件并将其转储到数据库中。每天会有新的文件放入该文件夹中。 我启用了检查点,以便如果由于任何原因Flink任务停止并且我需要重新启动,则Flink任务不应读取已经读取的文件。 我在我的代码中添加了下面的行,但是当我重新启动我的任务时,Fl...

11得票1回答
Flink:如何处理外部应用程序配置更改的问题

我的要求是每天流式传输数百万条记录,并且它在外部配置参数上有很大的依赖关系。例如,用户可以随时更改Web应用程序中所需的设置,并且在进行更改后,必须使用新的应用程序配置参数来进行流式传输。这些是应用程序级别的配置,我们还有一些需要通过每个数据传递并进行过滤的动态排除参数。 我发现Flink没...

7得票2回答
ClassNotFoundException: org.apache.flink.streaming.api.checkpoint.CheckpointNotifier在消费kafka主题时发生

我正在使用最新的Flink-1.1.2-Hadoop-27和flink-connector-kafka-0.10.2-hadoop1 jar包。 Flink消费者代码如下: StreamExecutionEnvironment env=StreamExecutionEnvironment....

10得票3回答
AWS Elastic MapReduce和AWS Kinesis Data Analytics之间有什么区别?

我正在使用这些工具执行Flink作业。 我认为只要进行适当的配置,两者都可以完全达到相同的效果。Kinesis数据分析是否有EMR无法做到或反之亦然的功能? Amazon Kinesis数据分析是分析流数据、获取可操作见解并实时响应业务和客户需求的最简单方法。 Amazon Elastic...

7得票3回答
Apache Flink: 由于类型擦除,函数的返回类型无法自动确定

我用Java编写了一个简单的程序,使用Flink框架,可以接受文件或文本作为输入,并使用flatMap函数打印所有单词。 这是我的代码: final ParameterTool params = ParameterTool.fromArgs(args); ...

10得票1回答
在Apache Spark和Apache Flink中,“streaming”是什么意思?

当我访问Apache Spark Streaming网站时,看到了这样一句话: Spark Streaming使得构建可扩展的容错流应用程序变得简单。 而在Apache Flink网站上,有这样一句话: Apache Flink是一个可扩展的批处理和流数据处理开源平台。 什么是...

10得票2回答
使用Apache Flink时如何使用Collections$UnmodifiableCollection?

使用下面的代码与 Apache Flink 一起使用:DataStream<List<String>> result = source.window(Time.of(1, TimeUnit.SECONDS)).mapWindow(new WindowMapFunctio...

9得票1回答
Apache Flink的JoinFunction和CoGroupFunction有什么区别?

在Apache Flink中,“JoinFunction”和“CoGroupFunction”有什么区别?它们的语义和执行方式有何不同?

9得票1回答
Flink中任务、作业和子任务之间的区别

我是新手,正在学习 flink,想要了解: 作业 任务 子任务 我在文档中进行了搜索,但仍然不清楚它们之间的主要区别。

20得票1回答
如何正确实现HTTP sink?

我希望将我的DataStream流的计算结果通过HTTP协议发送到其他服务。我看到有两种可能的实现方式: 在sink中使用同步的Apache HttpClient客户端 public class SyncHttpSink extends RichSinkFunction<Sessio...