Hadoop生态架构图

参考文章：

Hadoop生态系统介绍

HDFS架构

1.NaneDode:主节点，**存储文件的元数据**如文件名，文件目录结构，文件属性（生成时间，副本数量，文件权限），以及每个文件的块列表所在DataNode等

	一个JAVA进程：数据存储在内存中，为了速度读写（本地还有备份）

		本地磁盘：1、fsimage:镜像文件

				  2、edits  :编辑日志

2.DataNode:数据节点，实际的本地文件系统，**存储文件块数据，以及快数据的检验和**

	真正的存储：数据在磁盘中

3.Secondary NameNode用来**监控HDFS状态的辅助后台程序**，每隔一段时间**获取HDFS元数据快照**，就是定时对本地磁盘的 NameNode 的 fsimage 和 edits 进行合并，不断更新镜像

数据以block方式存储

Hadoop2.x块大小：128M

参考文章：

HDFS 原理、架构与特性介绍

谷歌三大核心技术（一）Google File System中文版

YARN架构

1.ResourceManager 		资源管理者

	*接收客户端请求

	*启动/监控ApplicationMaster

	*监控NodeManager

	*资源分配与调度

2.NodeManager     		节点管理者

	*管理节点资源

	*处理来自ResourceManager的任务

	*处理来自ApplicationMaster的任务

3.ApplicationMaster 	应用主管

	*数据切分

	*为应用程序向ResourceManager提出资源申请，并分配给内部任务

	*任务监控与容错

4.container 			容器

	*对任务运行环境的抽象，封装了CPU,内存等多维资源以及环境变量，启动命令等运行任务的相关信息

参考文章：

Hadoop构架概览

MapReduce框架（离线运算框架）

1.将数据计算过程分为两个阶段 Map 和 Reduce

	*Map将数据进行并行处理

	*Reduce将处理结果进行汇总

2.shuffle 连接 Map 和 Reduce 阶段

	*Map Task 将数据存储到本地磁盘

	*Reduce Task 将数据从 Map Task 上读一份数据

特点：

	*仅适合离线数据处理，有极高的容错性和拓展性，适合简单批处理任务

	*启动开销大，过多使用磁盘导致效率低下

MapReduce on YRAN

从客户端到客户端中间的过程详解图

注：图片来源见水印，侵删