Spark系列-核心概念

一. Spark核心概念

  • Master,也就是架构图中的Cluster Manager。Spark的Master和Workder节点分别Hadoop的NameNode和DataNode相似,是一种主从结构。Master是集群的领导者,负责协调和管理集群内的所有资源(接收调度和向WorkerNode发送指令)。从大类上来分Master分为local和cluster两大类
    • local:也就是本地模式,所有计算都在一台服务器上完成,通常用于本地开发调试。思维导图中
      • local:表示启动一个线程,所有的计算都在这个线程中完成
      • local[k]:启动k个worker线程
      • local[*]:按照当前服务器的cpu核数来启动
    • cluster:也就是集群模式,由多台服务器并行执行。
      • standalone:spark自带的资源管理器
      • mesos:由mesos来管理
      • yarn:通常和MapReduce作业一样,资源共享,所以使用的最多。(yarn cluster:所有调度资源都在集群上运行,yarn client:出了spark driver和master进程,其余都在集群上)

Spark系列-核心概念      Spark系列-核心概念

  • Worker,也就是WorkderNode,负责执行Master所发送的指令,来具体分配资源并执行任务
  • Driver:一个Spark job运行前会启动一个Driver进程,也就是作业的主进程,负责解析和生成各个Stage,并调度Task到Executor上
  • Executer:负责执行作业。如图中所以,Executer是分步在各个Worker Node上,接收来自Driver的命令并加载Task
  • SparkContext:程序运行调度的核心,高层调度去DAGScheduler划分程序的每个阶段,底层调度器TaskScheduler划分每个阶段具体任务
  • DAGScheduler:负责高层调度,划分stage并生产DAG有向无环图
  • TaskScheduler:负责具体stage内部的底层调度,具体task的调度和容错
  • Job:每次Action都会触发一次Job,一个Job可能包含一个或多个stage
  • Stage:用来计算中间结果的Tasksets。分为ShuffleMapStage和ResultStage,出了最后一个Stage是ResultStage外,其他都是ShuffleMapStage。ShuffleMapStage会产生中间结果,是以文件的方式保存在集群当中,以便能够在不同stage种重用
  • Task:任务执行的工作单位,每个Task会被发送到一个节点上,每个Task对应RDD的一个partition.
  • RDD:是以partition分片的不可变,Lazy级别数据集合
  • 算子
    • Transformation:由DAGScheduler划分到pipeline中,是Lazy级别的,不会触发任务的执行
    • Action:会触发Job来执行pipeline中的运算
上一篇:Spark 核心概念 RDD 详解


下一篇:Spark核心概念理解