MapReduce基本原理分析2024-03-24 16:57:16 MapReduce概述 MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题 MapReduce是分布式运行的,由两个阶段组成:Map和Reduce MapReduce框架都有默认实现,用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算,非常简单。 MapReduce原理分析 一个block对应一个split,一个split对应一个map任务 上一篇:python内置的几个高阶函数下一篇:Reduce code size in C