开发者学堂课程【大数据实时计算框架 Spark 快速入门：Spark 资源和数据并行度优化分析2 】学习笔记，与课程紧密联系，让用户快速学习知识。

课程地址：https://developer.aliyun.com/learning/course/100/detail/1685

Spark 资源和数据并行度优化分析2

内容简介：

一、SPARK_WORKER_INSTANCE

二、Stage 的切割

三、Repartition 算子

一、SPARK_WORKER_INSTANCESPARK_WORKER_INSTANCE

SPARK_WORKER_INSTANCE,to set the number of worker processes per node (决定了每个节里面由多少个实例）  

二、 Stage 的切割

切割 stage 根据宽依赖进行（或者说根据 shuffle 进行） shuffle 分为 map 端和reduce端。

三、 REPARTITION 算子

repartition 算子，用于任意将 RDD 的 partition 增多或者减少！

coalesce 仅仅将 RDD 的 partition 减少！

使用 Spark SQL 从 HIVE 中查询数据时候， spark SQL 会根据 HIVE/ 对应的hdfs 文件的 block 的数量决定加载出来的 RDD 的 partition 有多少个！

默认的 partition 的数量是我们根本无法设置的

有时可能它会自动设置的 partition 的数量过少，为了进行优化可以提高并行度，就对 RDD 使用 repartition 算子！