HDFS2的架构:负责数据的分布式存储
主从结构
主节点,可以有2个: namenode
从节点,有很多个: datanode
namenode负责:
接收用户操作请求,是用户操作的入口
维护文件系统的目录结构,称作命名空间
datanode负责:存储文件
Yarn的架构:资源的调度和管理平台
主从结构
主节点,可以有2个: ResourceManager
从节点,有很多个: NodeManager
ResourceManager负责:
集群资源的分配与调度
MapReduce、Storm、Spark等应用,必须实现ApplicationMaster接口,才能被RM管理
NodeManager负责:
单节点资源的管理
MapRedece的架构:依赖磁盘io的批处理计算模型
主从结构
主节点,只有一个: MRAppMaster
MRAppMaster负责:
接收客户提交的计算任务
把计算任务分给TaskTrackers执行,即任务调度
监控TaskTracker的执行情况