把任务提交到spark上 分为几种模式  mesos（Apache项目 国外用的多）  standalone（spark自己实现的资源调度平台）  yarn(国内用的多）

为什么用yarn    hadoop flink   spark都用的是yarn   方便集中管理

 

 spark计算平台   yarn资源调度平台

client端在driver里面 的       am applicationMaster   spark和yarn之间的代理人   rs  rresourcemanager

 

 

 

 

 hdfs  分布式的文件系统  

 

 

resource manager    nodeManager   yarn中的节点   以 进程的形式存在

secondarynamenode   hdfs中做元数据同步的节点

datanode  namenode  hdfs里面的节点

hadoop安装好就意味着yarn安装好

xsync   同步命令  

master和worker都启动好了代表spark启动成功