191 DStream概述

Discretized Stream是Spark Streaming的基础抽象,代表持续性的数据流和经过各种Spark原语操作后的结果数据流。在内部实现上,DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据,如下图:
191 DStream概述

对数据的操作也是按照RDD为单位来进行的
191 DStream概述
计算过程由Spark engine来完成
191 DStream概述

 

上一篇:188 DAG的生成


下一篇:实时流计算Spark Streaming原理介绍