SparkStreaming 介绍

一 

  • Spark Streaming引入

新的场景需求

●集群监控

一般的大型集群和平台, 都需要对其进行监控的需求。

要针对各种数据库, 包括 MySQL, HBase 等进行监控

要针对应用进行监控, 例如 Tomcat, Nginx, Node.js 等

要针对硬件的一些指标进行监控, 例如 CPU, 内存, 磁盘 等

SparkStreaming 介绍

还有很多很多

SparkStreaming 介绍

 

二 

 

  • Spark Streaming介绍

●官网

http://spark.apache.org/streaming/

●概述

Spark Streaming是一个基于Spark Core之上的实时计算框架,可以从很多数据源消费数据并对数据进行实时的处理,具有高吞吐量和容错能力强等特点。

SparkStreaming 介绍

●Spark Streaming的特点

1.易用

可以像编写离线批处理一样去编写流式程序,支持java/scala/python语言。

2.容错

SparkStreaming在没有额外代码和配置的情况下可以恢复丢失的工作。

3.易整合到Spark体系

流式处理与批处理和交互式查询相结合。

  1. 实时计算所处的位置
  2.                                           SparkStreaming 介绍

 

  • Spark Streaming原理
  1.  整体流程

Spark Streaming中,会有一个接收器组件Receiver,作为一个长期运行的task跑在一个Executor上。Receiver接收外部的数据流形成input DStream

 

DStream会被按照时间间隔划分成一批一批的RDD,当批处理间隔缩短到秒级时,便可以用于处理实时数据流。时间间隔的大小可以由参数指定,一般设在500毫秒到几秒之间。

对DStream进行操作就是对RDD进行操作,计算处理的结果可以传给外部系统。

Spark Streaming的工作流程像下面的图所示一样,接收到实时数据后,给数据分批次,然后传给Spark Engine(引擎)处理最后生成该批次的结果

SparkStreaming 介绍

  1. 数据抽象

Spark Streaming的基础抽象是  DStream    (Discretized Stream,离散化数据流,连续不断的数据流),代表 持续性的  输入的数据流和经过各种Spark算子操作后  的 输入  的结果数据流

●可以从以下多个角度深入理解DStream

1.DStream本质上就是一系列时间上连续的RDD

SparkStreaming 介绍

2.对DStream的数据的进行操作也是按照RDD为单位来进行的

SparkStreaming 介绍

3.容错性

底层RDD之间存在依赖关系,DStream直接也有依赖关系,RDD具有容错性,那么DStream也具有容错性

如图:每一个椭圆形表示一个RDD

椭圆形中的每个圆形代表一个RDD中的一个Partition分区

每一列的多个RDD表示一个DStream(图中有三列所以有三个DStream)

每一行最后一个RDD则表示每一个Batch Size所产生的中间结果RDD

SparkStreaming 介绍

4.准实时性/近实时性

Spark Streaming将流式计算分解成多个Spark Job,对于每一时间段数据的处理都会经过Spark DAG图分解以及Spark的任务集的调度过程。

对于目前版本的Spark Streaming而言,其最小的Batch Size的选取在0.5~5秒钟之间

所以Spark Streaming能够满足流式准实时计算场景,对实时性要求非常高的如高频实时交易场景则不太适合

●总结

简单来说DStream就是对RDD的封装,你对DStream进行操作,就是对RDD进行操作

对于DataFrame/DataSet/DStream来说本质上都可以理解成RDD

SparkStreaming 介绍

  •  DStream相关操作

SparkStreaming 介绍

      1.  Transformations

●常见Transformation---无状态转换:每个批次的处理不依赖于之前批次的数据

Transformation

Meaning

map(func)

对DStream中的各个元素进行func函数操作,然后返回一个新的DStream

flatMap(func)

与map方法类似,只不过各个输入项可以被输出为零个或多个输出项

filter(func)

过滤出所有函数func返回值为true的DStream元素并返回一个新的DStream

union(otherStream)

将源DStream和输入参数为otherDStream的元素合并,并返回一个新的DStream.

reduceByKey(func, [numTasks])

利用func函数对源DStream中的key进行聚合操作,然后返回新的(K,V)对构成的DStream

join(otherStream, [numTasks])

输入为(K,V)、(K,W)类型的DStream,返回一个新的(K,(V,W)类型的DStream

transform(func)

通过RDD-to-RDD函数作用于DStream中的各个RDD,可以是任意的RDD操作,从而返回一个新的RDD

 

●特殊的Transformations---有状态转换:当前批次的处理需要使用之前批次的数据或者中间结果。

有状态转换包括基于追踪状态变化的转换(updateStateByKey)和滑动窗口的转换

1.UpdateStateByKey(func)

2.Window Operations 窗口操作

 

      1.  Output/Action

Output Operations可以将DStream的数据输出到外部的数据库或文件系统

当某个Output Operations被调用时,spark streaming程序才会开始真正的计算过程(与RDD的Action类似)

Output Operation

Meaning

print()

打印到控制台

saveAsTextFiles(prefix, [suffix])

保存流的内容为文本文件,文件名为"prefix-TIME_IN_MS[.suffix]".

saveAsObjectFiles(prefix,[suffix])

保存流的内容为SequenceFile,文件名为 "prefix-TIME_IN_MS[.suffix]".

saveAsHadoopFiles(prefix,[suffix])

保存流的内容为hadoop文件,文件名为"prefix-TIME_IN_MS[.suffix]".

foreachRDD(func)

对Dstream里面的每个RDD执行func

  1. 总结
  2. SparkStreaming 介绍​​​​​​​
上一篇:桌面TCP流(java)


下一篇:Spark-streaming-kafka