Spark源码分析(一)-Standalone启动过程

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3858065.html

  为了更深入的了解spark,现开始对spark源码进行分析,本系列文章以spark 1.0.0版本源码作为分析对象。今天主要分析下standalone部署方式的启动过程  

  1、Spark Standalone组件

    Standalone部署方式是一种典型master-slave模式,在这种模式下主要包含三个组件:Master(Cluster Manager)、Worker(slave)、Driver(client)

    Spark源码分析(一)-Standalone启动过程

    在spark的sbin目录中start-master.sh、start-slave.sh脚本就是用来启动Master、Worker的

      Spark源码分析(一)-Standalone启动过程

  2、Master启动分析

    先看看start-master.sh脚本,里面有默认的IP、PORT值。主要调用了org.apache.spark.deploy.master.Master类

    Spark源码分析(一)-Standalone启动过程

      在Master类中利用了Akka框架来创建Actor对象

      Spark源码分析(一)-Standalone启动过程

    利用actorOf初始化Master对象后,就是回调Master中的preStart方法(Akka的Actor对象一旦被初始化就会回调preStart方法)

      Spark源码分析(一)-Standalone启动过程

    preStart方法中启动了Spark WebUI服务、MetricsSystem(流式计算相关的)服务等

      Spark源码分析(一)-Standalone启动过程

  3、Worker启动分析

    在start-slave.sh脚本中调用了org.apache.spark.deploy.worker.Worker类来启动Worker进程

      Spark源码分析(一)-Standalone启动过程

    在Worker类中同样采用AkkaUtils来创建一个Actor 

     Spark源码分析(一)-Standalone启动过程

    下面看看Worker的preStart方法,它的调用链preStart->registerWithMaster->tryRegisterAllMasters,最终调用了tryRegisterAllMasters来注册到Master。

      actorSelection()函数连接Master,并调用了Master的RegisterWorker服务

     Spark源码分析(一)-Standalone启动过程

  4、driver启动分析

      以spark-shell启动为例进行分析,在spark-shell中又调用了spark-submit,而在spark-submit中调用了spark-class

    执行org.apache.spark.deploy.SparkSubmit,-class参数 org.apache.spark.repl.Main

    Spark源码分析(一)-Standalone启动过程

     Spark源码分析(一)-Standalone启动过程

    下图分析SparkSubmit类后续的执行过程,通过一步一步跟踪,它最终会调用到ClientActor类。

      Spark源码分析(一)-Standalone启动过程

     在ClientActor类的preStart方法中就会发起注册Master,并调用了Master的RegisterApplication服务    

      Spark源码分析(一)-Standalone启动过程

  

  5、Master-Worker-Driver交互分析

    当Worker、Driver启动后都会向Master发送消息进行登记注册,下图为在启动过程中Master、Driver、Worker之间的信息交互

      1、Master、Worker启动后,Worker会向Master发ResisterWorker消息进行注册登记,Master负责记录Worker相关信息后回复RegisteredWorker消息

      2、Driver启动会向Master发送RegisterApplication消息,登记Spark应用相关信息,Master记录Application注册信息后回复RegisteredApplication消息

      3、Master发送LauchDriver消息通知Worker,Driver已经启动。Worker收到消息后会记录Driver相关信息并回复DriverStateChanged消息

      4、Master发送LauchExecutor消息通知Worker为Application分配Executor计算资源。分配成功后Worker会发送RegisterExecutor消息告诉Driver,为Application

         分配的资源信息

      5、ExecutorAdd、ExecutorUpdated、ExecutorStateChanged消息是Master、Worker、Driver之间同步Executor最新信息。

      Spark源码分析(一)-Standalone启动过程

    具体代码实现中,当调用Master的服务后,Master的receive函数就负责分发与处理不同服务。

    receive里面很多case语句,就是针对不同的服务进行响应处理的

    RegisterWorker服务中创建了WorkInfo来管理Worker的连接信息

      Spark源码分析(一)-Standalone启动过程

    RegisterApplication服务中创建了ApplicationInfo来管理Appcation的连接信息

      Spark源码分析(一)-Standalone启动过程

    至此,分析完了Driver、Master、Worker启动建立连接的过程,里面很多细节没有详细分析,大家可以自行阅读相关代码。

原创文章,转载请注明: 转载自http://www.cnblogs.com/tovin/p/3858065.html

上一篇:Java获取客户端真实IP地址的两种方法


下一篇:LNAMP架构中后端Apache获取用户真实IP地址的2种方法(转)