Spark Streaming微批处理
微批是需要攒一批数据才进行处理,这一批数据可以看做是一个RDD,RDD的数据处理是批处理,批处理是分stage的如果上一个stage没结束下个stage就不能开始。
Flink流处理
Flink的流处理是按照事件序列逐条进行处理的,一个事件处理完成后,可以直接发往下个节点进行处理。
在Flink流处理中有存在拆分重组的shuffle动作,但这里shuffle是不需要落盘,不需要等待其它数据的,每个事件会被直接发往下一个 operator 的 subtask。