Event Time
指的是数据流中每个元素或者每个事件自带的时间属性,一般是事件发生的时间
由于延迟有可能一个较早完成的事件晚一些到达,在开窗的时候我们不可能一直等待窗口内应该到达的所有数据
在实际应用中,当涉及到对事件按照时间窗口进行统计时,Flink会将窗口内的事件缓存下来,直到接受到一个Watermark
如何使用:
- 使用Event Time作为时间戳
- 生成Watermark
Watermark:在开窗接受数据的时候,Flink会等待一个有限的时间,假设在这之后不会有更晚的数据到达。
在一定程度上降低了计算结果的绝对准确性,且增加了系统的延迟
优点:
- 某个事件的时间是确定的,保证计算结果在一定程度上的可预测性
缺点:
- 缓存较大,增加了延迟,调试和定位问题更复杂
Processing Time
指的是,算子使用当前机器的系统时钟时间
无视事件本身的时间属性,只要该事件在某个时间段到达了某个算子,就会被归结到该窗口下
优点:
- 只依赖当前执行机器的系统时钟,不需要依赖Watermark
- 无需缓存
- 实现简单,延迟最小
缺点:
不同环境下时间窗口的计算结果会发生变化,所以Processing Time在时间窗口下的计算会有不确定性
Ingestion Time
Ingestion Time是事件到达Flink Source的时间。从Source到下游各个算子中间可能有很多计算环节,任何一个算子的处理速度快慢可能影响到下游算子的Processing Time。而Ingestion Time定义的是数据流最早进入Flink的时间,因此不会被算子处理速度影响。
Ingestion Time通常是Event Time和Processing Time之间的一个折中方案。比起Event Time,Ingestion Time可以不需要设置复杂的Watermark,因此也不需要太多缓存,延迟较低。比起Processing Time,Ingestion Time的时间是Source赋值的,一个事件在整个处理过程从头至尾都使用这个时间,而且后续算子不受前序算子处理速度的影响,计算结果相对准确一些,但计算成本比Processing Time稍高。