我的Flink应用程序需要水印吗？如果不需要，我是否需要WatermarkStrategy.noWatermarks？

Question

7

我不确定我的Flink应用程序是否需要水印。什么时候需要水印？

如果我不需要它们，WatermarkStrategy.noWatermarks()有什么用途？

- David Anderson

1个回答

网页内容由stack overflow 提供, 点击上面的

可以查看英文原文，
原文链接

- David Anderson · Accepted Answer

一个时间水印t标记了数据流中的一个位置，并声明该点处的流已经完全到达时间t。

水印的唯一作用是触发基于事件时间的定时器的触发。

基于事件时间的定时器可以直接通过KeyedProcessFunction API使用，并且还被以下组件内部使用：

常见的不需要水印的情况包括仅依赖于处理时间的应用程序或批处理。或者处理具有时间戳但从未依赖于事件时间定时器的数据（例如简单的逐个事件处理）。

Flink的新源接口（由FLIP-27引入），确实需要WatermarkStrategy：

env.fromSource(source, watermarkStrategy, sourceName);

在不需要水印的情况下，你可以在这个接口中使用WatermarkStrategy.noWatermarks()。