Flink时间语义

Event Time

指的是数据流中每个元素或者每个事件自带的时间属性,一般是事件发生的时间

由于延迟有可能一个较早完成的事件晚一些到达,在开窗的时候我们不可能一直等待窗口内应该到达的所有数据

在实际应用中,当涉及到对事件按照时间窗口进行统计时,Flink会将窗口内的事件缓存下来,直到接受到一个Watermark

如何使用:

  1. 使用Event Time作为时间戳
  2. 生成Watermark

Watermark:在开窗接受数据的时候,Flink会等待一个有限的时间,假设在这之后不会有更晚的数据到达。

在一定程度上降低了计算结果的绝对准确性,且增加了系统的延迟

优点:

  1. 某个事件的时间是确定的,保证计算结果在一定程度上的可预测性

缺点:

  1. 缓存较大,增加了延迟,调试和定位问题更复杂

Processing Time

指的是,算子使用当前机器的系统时钟时间

无视事件本身的时间属性,只要该事件在某个时间段到达了某个算子,就会被归结到该窗口下

优点:

  1. 只依赖当前执行机器的系统时钟,不需要依赖Watermark
  2. 无需缓存
  3. 实现简单,延迟最小

缺点:

不同环境下时间窗口的计算结果会发生变化,所以Processing Time在时间窗口下的计算会有不确定性

Ingestion Time

Ingestion Time是事件到达Flink Source的时间。从Source到下游各个算子中间可能有很多计算环节,任何一个算子的处理速度快慢可能影响到下游算子的Processing Time。而Ingestion Time定义的是数据流最早进入Flink的时间,因此不会被算子处理速度影响。

Ingestion Time通常是Event Time和Processing Time之间的一个折中方案。比起Event Time,Ingestion Time可以不需要设置复杂的Watermark,因此也不需要太多缓存,延迟较低。比起Processing Time,Ingestion Time的时间是Source赋值的,一个事件在整个处理过程从头至尾都使用这个时间,而且后续算子不受前序算子处理速度的影响,计算结果相对准确一些,但计算成本比Processing Time稍高。

Flink的时间语义 | Weizheng (lulaoshi.info)

上一篇:【FLink】Flink 源码阅读笔记(4)- RPC


下一篇:数据中台·实时开发计算平台