有很多问题在比较Flink和Spark Streaming,Flink和Storm以及Storm和Heron。 这个问题的起源是因为Apache Flink和Twitter Heron都是真正的流处理框架(不像Spark Streaming那样是微批处理)。Twitter去年停用了Storm...
当我执行Flink应用程序时,它会给我一个NullPointerException: 的错误提示。 2017-08-08 13:21:57,690 INFO com.datastax.driver.core.Cluster - New Cassandra host /127.0.0.1...
我有一串带有键的数据,需要计算不同时间段(1分钟、5分钟、1天、1周)内的滚动计数。 是否可以在单个应用程序中计算所有四个窗口计数?
我刚刚拿到了下面这个例子用于并行处理,并有一些相关的问题: setParallelism(5) 只为 sum 设置 Parallelism 5,还是对 flatMap 和 sum 都设置了 Parallelism 5? 我们是否可以将不同的并行度分别设置给不同的操作符,例如分别设置 sum...
在我的项目中,我希望在流执行之前访问Flink用户类加载器。在流执行之前,我一直在实例化自己的类加载器以反序列化类(尽力避免与多个类加载器相关的问题)。 然而,随着我进一步开发,我不得不编写更多的(糟糕的)代码来避免这个问题。 如果我可以访问Flink用户类加载器并使用它,这个问题就可以解...
我尝试运行在flink网站这里找到的SocketWindowWordCount示例教程。 我启动了flink集群,然后运行了一个本地socket服务器: nc -l 9000 从github获取示例源代码后,我进行了编译并运行了作业。 flink run target/SocketW...
在我们的项目中,有一个 Flink (1.1.3) 流处理作业,它从一个 Kafka 队列读取数据,进行映射函数转换并写入另一个队列。但是在我们引入流程的一部分输出 REST 请求之后,发现出现了问题。为了解决这个问题,我们使用了 PlayFramework 的 WSClient (因为在我们...
我想在Web用户界面中查看我的工作。 我使用createLocalEnvironmentWithWebUI,在IDE中代码运行良好,但无法在http://localhost:8081/#/overview中看到我的工作。 val conf: Configuration = new ...
在CoFlatMapFunction方面遇到了一些困难。如果我将它放在窗口之前的DataStream上,它似乎可以正常工作,但如果将其放在窗口的“apply”函数之后,就会出现错误。 我正在测试两个流,主要的“Features”在flatMap1上不断地输入数据,控制流“Model”在fla...
当我在Apache Flink中运行一个SocketWindowWordCount程序时,它显示了一个警告: 警告:org.apache.flink.api.java.ClosureCleaner存在非法反射访问 警告:发生了一次非法的反射访问操作 警告:org.apache.fli...