Spark Standalone运行过程

以下内容参考http://www.cnblogs.com/luogankun/p/3912956.html

一、集群启动过程--启动Master

二、集群启动过程--启动Worker
Worker运行时,需要注册到指定的master url

Worker启动之后主要做了两件事情:
  1)将自己注册到Master(RegisterWorker);
  2)定期发送心跳信息给Master;

Worker向Master发送注册信息:
Master侧收到RegisterWorker通知:
Worker在收到Master发来的注册成功信息后,定期向Master发送心跳信息
Master在接收到Worker发送来的心跳信息后更新最后一次心跳时间
Master定期移除超时未发送心跳信息给Master的Worker节点

三、Application提交过程
A、提交Application
spark-shell属于application,在启动SparkContext的createTaskScheduler创建SparkDeploySchedulerBackend的过程中创建
会向Master发送RegisterApplication请求
B、 Master处理RegisterApplication的请求
在Master侧其处理的分支是RegisterApplication;Master在收到RegisterApplication请求之后,Master进行调度:
如果有worker已经注册上来,发送LaunchExecutor指令给相应worker
C、启动Executor
Worker在收到LaunchExecutor指令之后,会启动Executor进程
D、注册Executor
启动的Executor进程会根据启动时的入参,将自己注册到Driver中的SchedulerBackend
E、运行Task
SchedulerBackend收到Executor的注册消息之后,会将提交到的Spark Job分解为多个具体的Task,然后通过LaunchTask指令将这些Task分散到各个Executor上真正的运行。

每当有新的application注册到master,master都要调度schedule函数将application发送到相应的worker,在对应的worker启动相应的ExecutorBackend,最终的Task就运行在ExecutorBackend中。

上一篇:Ubuntu 18.04安装MySQL指南


下一篇:Ubuntu 18.04安装MongoDB 4.0