hadoop,mapreduce---分布式计算

hadoop,mapreduce---分布式计算

从图中可以看出,map阶段的shuffle:

例如word count,当内存缓冲区满的时候会写到磁盘,一个spill,每个spill,进行分区,排序,最后将同一个分区word合并在一起,写入到磁盘中

reduce阶段:将不同map的相同分区的部分,进行merge,最后结果为reduce的输入

上一篇:CI框架入门2


下一篇:for循环嵌套的穷举,迭代,以及while的使用和for的转换