hdfs HA 与 yarn HA

1. hdfs HA 架构流程

HA中的角色

ZK:协调系统切换NameNode
ZKFC:自动故障转移进程,负责与ZK、NameNode通讯,当检测到NameNode(active)挂掉时,复制删除注册在ZK上的临时znode,NameNode(standby)会通过ZKFC在ZK上注册新的临时znode。
NameNode(active):活着的NameNode
NameNode(standby):NameNode备份
JournalNode:共享存储,一直监控edit log的变化,把变化应用于自己的命名空间,NameNode(standby)不断从JournalNode读取新的edit log
DataNode:数据存储节点
hdfs HA 与 yarn HA


2. yarn HA 架构流程

Yarn HA 中角色

ZK:协调系统切换ResourceManger
ResourceManger中ZKFC:自动故障转移线程
ResourceManger(active):活着的ResourceManger
ResourceManger(standby):ResourceManger备份
RMStateStore:存储在zk上job的信息
NodeManager:负责执行job的容器
hdfs HA 与 yarn HA

3.hdfs yarn ha架构区别

相同点:

都用到了ZK
都用到 ZKFC
都有两个节点(active和standby)
都将部分元数据存储在第三方

不同相同点:

hdfs中ZKFC是进程,yarnHA中ZKFC是线程
元数据存储在第三方地点不同,hdfs editlog存储在JournalNode共享存储中,
Yarn存储在ZK中

上一篇:UVA 11019 - Matrix Matcher(二维hash)


下一篇:Hadoop2.0 HA集群搭建步骤