一直对书和各种介绍不太满意, 终于看到一篇比较好的了,迅速转载.
首先要推荐一下:http://www.alidata.org/archives/1470
阿里的大牛在上面的文章中比较详细的介绍了shuffle过程中mapper和reduce的每个过程,强烈推荐先读一下。
不过,上文没有写明一些实现的细节,比如:spill的过程,mapper生成文件的 partition是怎么做的等等,相信有很多人跟我一样在看了上面的文章后还是有很多疑问,我也是带着疑问花了很久的看了cdh4.1.0版本 shuffle的逻辑,整理成本文,为以后回顾所用。
首先用一张图展示下map的流程:
- <span style= * Called once for each key/value pair in the input split. Most applications
- * should override this, but the default is the identity function.
- */ ()
- protectedvoid throws </span>
- <span style=publicvoidthrows while }</span>
key value在写入context中后实际是写入MapOutputBuffer类中。在第一个阶段的初始化过程中,MapOutputBuffer类会根据配置文件初始化内存buffer,我们来看下都有哪些参数:
- <span style=
- finalfloat
float0.8
finalint); - iffloat1.0float0.0
thrownewif) != sortmb) {
- thrownew
,
- classclass), job);</span>
buf的右侧开始往左写,同时,会把一条keyvalue的meta信息(partition,keystart,valuestart)写入到最左边的
index区域。当wrap
buf大小达到spill的触发比例后会block写入,挖出一部分数据开始spill,直到spill完成后才能继续写,不过写入位置不会置零,而是类
似循环buf那样,在spill掉数据后可以重复利用内存中的buf区域。
- <span style=
- publicvoidthrows
}</span>
在keyvalue对写入MapOutputBuffer时会调用
partitioner.getPartition方法计算partition即应该分配到哪个reducer,这里的partition只是在内存的
buf的index区写入一条记录而已,和下一个部分的partition不一样哦。看下默认的partitioner:HashPartition
- <span style=
- publicint
int
return
}</span>
HashPartition只是把key hash后按reduceTask的个数取模,因此一般来说,不同的key分配到哪个reducer是随即的!所以,reducer内的所有数据是有序的,但reducer之间的数据却是乱序的!要想数据整体排序,要不只设一个reducer,要不使用TotalOrderPartitioner!
- <span style=this, mstart, mend, reporter);</span>
- <span style=publicintfinalintfinalint
finalint
finalint
finalint
finalint - if
return - return
}</span>
- <span style=forint; i < partitions; ++i) {
- null
try
long
newifnull
- new
whilefinalint
else
int
while - if
new
}</span>
如果job没有定义combiner则直接写文件,如果有combiner则在这里进行combine。
在生成spill文件后还会将此次spillRecord的记录写在一个index文件中。
- <span style=
spillRec.writeToFile(indexFilename, job);</span>
- <span style=
spillRec.putIndex(rec, i);</span>
- <span style=int);</span>
于combiner,无论有没有配置combiner这里的merge都会执行。merge阶段的输出是一个数据文件
MapFinalOutputFile和一个index文件。看下相关代码:
- <span style=
new
null
- long
new
ifnull
else
}</span>
说下merge的算法。每个spill生成的文件中keyvalue都是有序的,但不同的文
件却是乱序的,类似多个有序文件的多路归并算法。Merger分别取出需要merge的spillfile的最小的keyvalue,放入一个内存堆中,
每次从堆中取出一个最小的值,并把此值保存到merge的输出文件中。这里和hbase中scan的算法非常相似,在分布式系统中多路归并排序真是当红小
生啊!
四步中combine过但那只是部分输入的combine,在merge时仍然需要combine。这里有人问了,既然这里有combiner,为啥在
spill输出时还要combine纳,我认为是因为每次combine都会大大减少输出文件的大小,spill时就combine能减少一定的IO操
作。
- <span style=
- spillRec.putIndex(rec, parts);</span>
最后,我们再对mapper过程中的要点总结一下: