大数据之-Hadoop3.x_MapReduce_ReduceTask源码解析---大数据之hadoop3.x工作笔记0127

然后我们接着去reducetask的源码:

大数据之-Hadoop3.x_MapReduce_ReduceTask源码解析---大数据之hadoop3.x工作笔记0127

可以看到上面,maptask执行以后,数据被分区,然后溢写到磁盘文件中,然后

就到了执行reducetask的时候,首先走到reducetask的上面这个位置,然后

可以看到,有3个部分要执行.

copy sort reduce 3个部分对吧.

大数据之-Hadoop3.x_MapReduce_ReduceTask源码解析---大数据之hadoop3.x工作笔记0127

可以看到正好对应了reduce的3个阶段对吧.

 大数据之-Hadoop3.x_MapReduce_ReduceTask源码解析---大数据之hadoop3.x工作笔记0127

    这里c

上一篇:LSTM的梯度、学习率、前项传播等


下一篇:【论文阅读】Graph Convolution over Pruned Dependency Trees Improves Relation Extraction[EMNL2018]