Spark剖析-宽依赖与窄依赖、基于yarn的两种提交模式、sparkcontext原理剖析
一、宽依赖与窄依赖
二、基于yarn的两种提交模式深度剖析
Spark的三种提交模式：
- Spark内核架构中，其实就是第一种模式，standalone模式，基于Spark自己的Master-Worker集群。
- 第二种，基于YARN的yarn-cluster模式。
- 第三种，基于YARN的yarn-client模式。
如果要切换到第二种和第三种模式，将用于提交spark应用程序的spark-submit脚本，加上-master参数，设置为yarn-cluster或者yarn-client即可。