Flink WaterMark

Flink WaterMark

 Flink WaterMark

 

Flink WaterMark

 Flink WaterMarkFlink WaterMark

 

 Flink WaterMark

判定迟到时间:

Flink WaterMark

 watermark在算子之间的传播:

Flink WaterMark

 每个Operator上有对应的Event-time,这个其实是一个TimeService,这个TimeService标记出来当前算子的一个时钟。

watermark最好在Source Operator就进行设置,且最好Source Operator的并行度为1.

watermark的生成依赖于事件时间的更新(出现更大的事件时间)

watermark生成之后会随着数据(streamElement)一起通过上游的算子会发送给下游的算子,watermark会被当成一种特殊的事件,这个特殊事件是会伴随着整个数据处理流程,一直发送到下游的算子中,一直到更新最终的算子中

当source operator产生了watermark之后,发送给下游的算子之后,会更新算子的时钟。

上一篇:C# 支付宝接口


下一篇:flink常见概念