Flink流处理与Spark Streaming微批处理的区别

Spark Streaming微批处理

Flink流处理与Spark Streaming微批处理的区别

微批是需要攒一批数据才进行处理,这一批数据可以看做是一个RDD,RDD的数据处理是批处理,批处理是分stage的如果上一个stage没结束下个stage就不能开始。

Flink流处理

Flink流处理与Spark Streaming微批处理的区别

Flink的流处理是按照事件序列逐条进行处理的,一个事件处理完成后,可以直接发往下个节点进行处理。

Flink流处理与Spark Streaming微批处理的区别

在Flink流处理中有存在拆分重组的shuffle动作,但这里shuffle是不需要落盘,不需要等待其它数据的,每个事件会被直接发往下一个 operator 的 subtask。

Flink流处理与Spark Streaming微批处理的区别

上一篇:chrome无法使用独显解决


下一篇:styled-components入门