spark source code 分析之ApplicationMaster overview(yarn deploy client mode)

一直不是很清楚ApplicationMaster的作用,尤其是在yarn client mode和cluster mode的区别

网上有一些非常好的资料,请移步: https://blog.cloudera.com/blog/2014/05/apache-spark-resource-management-and-yarn-app-models/

然而还是不如直接看source code来的真切,参考spark source code(2.1.0)

简单解释下如下图片:

master 即为ApplicationMaster

可以看到 前面即为建立rpc env, 并且取得与driver之间的联系

master本身依赖自身的amEndpoint与driver 通过event驱动

还有自身reportThread 靠allocator与resource manager通信,分配资源

spark source code 分析之ApplicationMaster  overview(yarn deploy client mode)

上一篇:Classic Source Code Collected


下一篇:Steps of source code change to executable application