MapReduce基本原理分析

MapReduce概述

  1. MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题

  2. MapReduce是分布式运行的,由两个阶段组成:Map和Reduce

  3. MapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。

MapReduce原理分析

MapReduce基本原理分析
一个block对应一个split,一个split对应一个map任务

上一篇:python内置的几个高阶函数


下一篇:Reduce code size in C