1. hdfs HA 架构流程
HA中的角色
ZK:协调系统切换NameNode
ZKFC:自动故障转移进程,负责与ZK、NameNode通讯,当检测到NameNode(active)挂掉时,复制删除注册在ZK上的临时znode,NameNode(standby)会通过ZKFC在ZK上注册新的临时znode。
NameNode(active):活着的NameNode
NameNode(standby):NameNode备份
JournalNode:共享存储,一直监控edit log的变化,把变化应用于自己的命名空间,NameNode(standby)不断从JournalNode读取新的edit log
DataNode:数据存储节点
2. yarn HA 架构流程
Yarn HA 中角色
ZK:协调系统切换ResourceManger
ResourceManger中ZKFC:自动故障转移线程
ResourceManger(active):活着的ResourceManger
ResourceManger(standby):ResourceManger备份
RMStateStore:存储在zk上job的信息
NodeManager:负责执行job的容器
3.hdfs yarn ha架构区别
相同点:
都用到了ZK
都用到 ZKFC
都有两个节点(active和standby)
都将部分元数据存储在第三方
不同相同点:
hdfs中ZKFC是进程,yarnHA中ZKFC是线程
元数据存储在第三方地点不同,hdfs editlog存储在JournalNode共享存储中,
Yarn存储在ZK中