Apache Flink：如何处理延迟事件？

Question

如果违反水印条件的元素到达，该事件如何处理？ 它被丢弃吗？或者事件仍然向下传播，并以往窗口函数使用延迟事件重新计算？

文档承认会出现延迟事件，但未说明如何处理。 https://ci.apache.org/projects/flink/flink-docs-release-1.0/apis/streaming/event_time.html

- Ryan Norton

Answer 1

默认情况下，当水印超过窗口的末尾时，延迟元素会被丢弃。然而，Flink允许为窗口操作符指定最大允许延迟时间。允许延迟指定元素在被丢弃之前可以晚多少时间到达，其默认值为0。在水印已经通过窗口末尾但在它通过窗口末尾加上允许延迟时间之前到达的元素仍会被添加到窗口中。根据所使用的触发器，一个未被丢弃的延迟元素可能会导致窗口再次触发。这适用于EventTimeTrigger。

为了使这个工作正常，Flink会保留窗口的状态直到它们的允许延迟时间到期。一旦发生这种情况，Flink将删除窗口并删除其状态。

您可以在此处检查生命周期。 https://ci.apache.org/projects/flink/flink-docs-release-1.3/dev/windows.html#window-lifecycle

- hanif s

Answer 2

截至Flink 1.0，晚到的元素通过重新评估仅包含晚到事件的“单例”窗口的窗口函数来处理。

在未来版本的Flink中，用户将对此行为拥有更多控制权。请参阅flink-dev邮件列表中的此线程：

http://mail-archives.apache.org/mod_mbox/flink-dev/201604.mbox/%3CCANMXwW3_Ew38KyL0q=q70pC03=UD=KaLQ0XmRyTNE77udAsh=[e-mail]%3E

- Jamie Grier