Structured Streaming watermark总结

博客园首发,转载请注明地址:https://www.cnblogs.com/tzxxh/p/15545264.html

Structured Streaming watermark总结

 上图来自官方文档中对于watermark的描述。

刚开始以为只要数据的event_time大于watermark时间,就会被处理,小于watermark就不会被处理。实际测试发现并不是这样。

下面开始验证:

数据:{"timestamp":"2021-11-10T17:18:00.164+8","queryText":"aaa"}

处理结果为:Structured Streaming watermark总结

 

再次增加数据:

{"timestamp":"2021-11-10T16:18:00.164+8","queryText":"bbb"}
{"timestamp":"2021-11-10T17:01:00.164+8","queryText":"ccc"}
{"timestamp":"2021-11-10T17:06:00.164+8","queryText":"ddd"}

处理结果为:

Structured Streaming watermark总结

 

 

 问题来了,为什么上一个batch的max event_time已经是17:18了,watermark阈值设置10分钟,则watermark当前值为17:08。那为何17:06的数据比watermark要早还会被处理呢。

实际是这样:

17:06的数据根据时间窗口设置,会落入 17:03-17:09 和 17:06-17:12窗口。而watermark当前为17:08,在这两个窗口之内,所以会正常计算。

由此得出结论:使用watermark时,数据是否会被计算,是根据数据落入的时间窗口包不包含watermark决定的。watermark之后的数据肯定会被计算,watermark之前的可能会被计算

因此官方文档有这句话:

Structured Streaming watermark总结

 

上一篇:Flink流处理-Task之KafkaSourceDataTask


下一篇:大数据Hadoop之——Spark Streaming原理