Spark集群术语

Spark集群术语解析

1. Application

Application是用户在Spark上构建(编写)的程序,包含driver program 和executors(分布在集群中多个节点上运行的Executor代码)。

2. SparkContext

Spark的上下文对象,是程序的起点,通往集群的入口(与cluster进行连接),通过其可以创建RDD(获取数据),在其中配置的参数拥有最高优先级。在Spark中由SparkContext负责和ClusterManager通行,进行资源的申请,任务的分配和监控等。

Spark集群术语

3. Driver program

包含应用程序的main函数,并且运行时会创建SparkContext。当Executor部分运行完后,Driver负责将SparkContext关闭。

4. Cluster Manager

集群资源管理的外部服务,在Spark上现有Standalone(Spark自带的管理器),YARN(hadoop 2.x的管理器),Mesos等三种集群资源管理器,Standalone能满足绝大部分对集群资源管理的需求,基本上只有在集群中运行多套计算框架(例如同时运行MapReduce和Spark)的时候才建议使用YARN和Mesos。

5. Deploy mode

表明driver程序运行的位置。在”cluster”模式时,框架会在集群中启动driver。在”client”模式时,driver在集群外被提交者启动。

6. Worker Node

集群中运行应用Application代码的节点,在Standalone模式中指的是通过slaves文件配置的Worker节点,在Spark on Yarn模式中指的就是NodeManager节点。

Spark集群术语

7. Executor

一个Application运行在Worker节点上的一个进程,负责运行某些Task,并且负责将数据存放在内存或磁盘上。每个Application都有各自独立的一批Executor,一个Executor只能为一个Application服务,一个Worker上可能会有多个Executor,在Executor内部通过多线程的方式并发处理应用的任务(Task)。在Spark
on Yarn模式下,其进程名称为CoarseGrainedExecutorBackend。一个CoarseGrainedExecutorBackend进程有且仅有一个Executor对象,负责将Task包装成taskRunner,并从线程池中抽取一个空闲线程运行Task。每个CoarseGrainedExecutorBackend能并行运行Task的数量取决于分配给它的CPU个数。

Spark集群术语

Spark集群术语

Spark集群术语

8. Task

被Driver发送到executor的工作单元(最终在worker节点运行的任务),和MapReduce中的MapTask和ReduceTask概念一样,是运行Application的基本单位。多个Task组成一个Stage,而Task的调度及管理等由TaskScheduler负责,通常情况下一个task会处理一个split的数据,每个split一般就是一个Block块的大小。

Spark集群术语

9. Job

一道作业,即应用完成某项需求所需要的一系列工作(由一系列task组成的并行计算)。与Spark的action相对应,每个action操作(例如count,saveAsTextFile,collect等)都会对应一个job实例,可在driver的日志中看到相关信息。一个Application可能产生多个Job。

10. Stage

一个Job会分成很多组Task,每一组任务被分为Stage,类似于MapReduce的map和reduce,划分Stage的依据:一个Stage开始一般是由于读取外部数据或者Shuffle数据,一个Stage的结束一般是由于发生了Shuffle(例如reduceByKey)或者整个Job结束时把数据放到hdfs等存储系统上(例如saveAsTextFile)。

Spark集群术语

11. DAG

有向无环图,将job分解成若干个Stage,每个Stage都由若干个Task组成,这些Stage都是有先后顺序的,故将这些Stage组织成DAG,表示其先后顺序。

12. Taskset

每个Stage由若干个Task组成,这些task统一称为taskset。

Spark集群术语

12. RDD

        Spark的基本计算单元,可以进行一系列算子进行操作(主要为Transformation和Action操作)。同时,RDD是Spark最核心的东西,它表示已被分区,被序列化,不可变的,有容错基质的,并且能被并行操作的数据集合。可以存在内存,也可以存在磁盘,可以通过persist()方法中的org.apache.spark.storage.StorageLevel属性进行配置。
Spark集群术语

13. 共享变量

在Application运行时,可能需要共享一些变量,供Task或Driver等使用。Spark提供了两种共享变量,一种是可以缓存到各个节点的广播变量(broadcast),一种是只支持加法操作,可以实现求和的累加变量(accumulators)。

14. 宽依赖

或称为ShuffleDependency,跟MapReduce中的Shuffle的数据依赖相同,宽依赖需要计算好所有父RDD对应分区的数据,然后在节点之间进行Shuffle。

Spark集群术语

15. 窄依赖

或称为NarrowDependency,指的是摸个具体的RDD,其分区partition A最多被子RDD中的一个分区partition B依赖。此种情况只有Map任务,是不需要发生Shuffle过程的。窄依赖又分为1:1和N:1两种。

Spark集群术语

16. DAGScheduler

根据job构建基于Stage的DAG,并提交Stage给TaskScheduler。其划分Stage的依据是根据RDD之间的依赖关系。

Spark集群术语

17. TaskScheduler

将Task提交给Worker(集群)运行,每个Executor运行什么Task就是在此处分配的。

Spark集群术语

上一篇:unity3D iTween的使用


下一篇:keychain实现ssh对秘钥免登陆免输入密码