从图中可以看出,map阶段的shuffle:
例如word count,当内存缓冲区满的时候会写到磁盘,一个spill,每个spill,进行分区,排序,最后将同一个分区word合并在一起,写入到磁盘中
reduce阶段:将不同map的相同分区的部分,进行merge,最后结果为reduce的输入
2021-12-14 23:05:51
从图中可以看出,map阶段的shuffle:
例如word count,当内存缓冲区满的时候会写到磁盘,一个spill,每个spill,进行分区,排序,最后将同一个分区word合并在一起,写入到磁盘中
reduce阶段:将不同map的相同分区的部分,进行merge,最后结果为reduce的输入