Apache Flink: 由于类型擦除，函数的返回类型无法自动确定
我用Java编写了一个简单的程序，使用Flink框架，可以接受文件或文本作为输入，并使用flatMap函数打印所有单词。 这是我的代码： final ParameterTool params = ParameterTool.fromArgs(args); ...
Flink - 没有适用于方案"hdfs"的文件系统
我目前正在开发一个Flink 1.4应用程序，从Hadoop集群中读取一个Avro文件。然而，在我的IDE中以本地模式运行它是完全正常的。但是当我将其提交到Jobmanager Flink时，总是会出现以下错误信息： java.io.IOException: Error opening th...
Flink作业突然崩溃并显示错误：在消费分区时遇到错误
我的一个流式作业运行了1天10小时后失败了。其中一个子任务突然失败，并导致整个作业崩溃。由于我设置了restart_strategy，作业自动重新启动，但再次以相同的错误崩溃。我找到了任务管理器的日志，在此期间任务失败了，但这对我进行调试并不是很有帮助。有人能提出更好的方法吗？谢谢。 故障周...
通过yml文件服务从Compose-Docker拉取特定的镜像标签
我正在尝试使用两种不同的方式构建 Docker Flink 容器，一种是通过 Dockerfile，另一种是使用 Docker Compose。Dockerfile 工作得很好，但我在使用 Docker Compose 时遇到了一些问题。 经过一番调查（如果我理解正确），当我执行 yml 文...
Kafka客户端超时时间为60000毫秒，在确定分区位置之前已过期。
我正在尝试将Flink连接到Kafka消费者 我使用Docker Compose构建4个容器：zookeeper、kafka、Flink JobManager和Flink TaskManager。 对于zookeeper和Kafka，我使用wurstmeister镜像，而对于Flink，我...
在Kubernetes上使用Apache Flink - 如果JobManager崩溃，如何恢复作业
我想在kubernetes上运行一个flink作业，并使用（持久性）状态后端，如果任务管理器崩溃，似乎没有问题，因为它们可以询问作业管理器需要从哪个检查点进行恢复，如果我理解正确的话。 似乎崩溃的作业管理器要更加困难。在flip-6页面上我看到需要zookeeper才能知道作业管理器需要使用...
Flink和Storm的主要区别是什么？
Flink被与Spark相比较，但我认为这是错误的比较，因为它将一个窗口事件处理系统与微批处理进行比较；同样，将Flink与Samza进行比较对我来说也没有太多意义。在这两种情况下，它比较了实时和批处理事件处理策略，即使在Samza的情况下规模更小。但我想知道Flink与Storm相比如何，因...
在Flink中，如何将DataStream写入单个文件？
DataStream的writeAsText或writeAsCsv方法会根据工作线程的数量写入相应数量的文件。据我所知，这些方法只允许您指定这些文件的路径和一些格式设置。 为了调试和测试目的，能够将所有内容打印到一个单独的文件中，而不必更改设置以使用单个工作线程，这将非常有用。 是否有任何...
Apache Flink: 状态何时进行序列化/反序列化？
Flink在何时进行操作状态的序列化/反序列化？是在每次get/update时还是基于检查点？状态后端是否有影响？ 我怀疑，在具有多样化键（数百万）和每个键每秒数千个事件的键控流情况下，序列化/反序列化可能是一个大问题。我对吗？
Flink：数据源输出出错：无法读取用户代码包装器。
我刚开始接触Flink。我写了以下代码，但出现了“数据源的输出导致错误：无法读取用户代码包装器”的错误。 我做错了什么吗？ 版本：Flink v 0.9.1（hadoop 1），不使用hadoop：本地执行 Shell：scala shell 代码： val env = Executi...