mapreduce 学习笔记

mapreduce基础概念

mapreduce 学习笔记

mapreduce是一个分布式计算框架(hadoop是mapreduce框架的一个免费开源java实现)。

mapreduce要点

  1. 主节点(master node)控制mapreduce的作业流程

  2. mapreduce的作业可分为map任务和reduce任务

  3. map任务之间不做数据交流,reduce同理

  4. 在map和reduce阶段有一个sort或combine阶段

  5. 数据被重复放在不同的机器上,以防某个机器失效

  6. map和reduce传输数据的形式为key/value对

上一篇:互评Beta版本


下一篇:web storm使用和配置