spark-RDD源码分析

http://stark-summer.iteye.com/blog/2178096

RDD的核心方法:

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

首先看一下getPartitions方法的源码:

spark-RDD源码分析

getPartitions返回的是一系列partitions的集合,即一个Partition类型的数组

我们就想进入HadoopRDD实现:

spark-RDD源码分析

1、getJobConf():用来获取job Configuration,获取配置方式有clone和非clone方式,但是clone方式 是not thread-safe,默认是禁止的,非clone方式可以从cache中获取,如cache中没有那就创建一个新的,然后再放到cache中

2、进入 getInputFormcat(jobConf)方法:

spark-RDD源码分析

3、进入inputFormat.getSplits(jobConf, minPartitions)方法:

spark-RDD源码分析

进入FileInputFormcat类的getSplits方法:

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

5、进入HadoopPartition:

spark-RDD源码分析

而getDependencies表达式RDD之间的依赖关系,如下所示:

spark-RDD源码分析

getDependencies返回的是依赖关系的一个Seq集合,里面的Dependency数组中的下划线是类型的PlaceHolder

我们进入ShuffledRDD类中的getDependencies方法:

spark-RDD源码分析

我们进入ShuffleDependency类:

spark-RDD源码分析

每个RDD都会具有计算的函数,如下所示:

spark-RDD源码分析

我们进入HadoopMapPartitionsWithSplitRDD的 compute方法:

spark-RDD源码分析

Compute方法是针对RDD的每个Partition进行计算的,其TaskContext参数的源码如下:

spark-RDD源码分析

getPreferredLocations是寻找Partition的首选位置:

spark-RDD源码分析

我们进入NewHadoopRDD的getPreferredLocations:

spark-RDD源码分析

其实RDD还有一个可选的分区策略:

spark-RDD源码分析

Partitioner的源码如下:

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

spark-RDD源码分析

可以看出默认使用的是HashPartitioner,要注意key为Array的情况;

spark.default.parallelism必须要设置,否则会根据partitions数据来传输RDD,这样也会很容易出现OOM

上一篇:使用Cygwin登录Raspberry PI


下一篇:xgboost 简单测试