NN和2NN工作机制
1.第一阶段:NameNode启动
(1)第一次启动NameNode格式化后,创建Fsimage和Edits文件。如果不是第一次启动,直接加载编辑日志和镜像文件到内存。
(2)客户端对元数据进行增删改的请求。
(3)NameNode记录操作日志,更新滚动日志。
(4)NameNode在内存中对数据进行增删改。
2.第二阶段:Secondary NameNode工作
(1)Secondary NameNode询问NameNode是否需要CheekPoint。直接带回NameNode检查结果。
(2)Secondary NameNode请求执行CheekPoint.
(3)NameNode滚动正在写的Edits日志。
(4)将滚动前的编辑日志和镜像文件拷贝到Secondary NameNode。
(5)Secondary NameNode加载编辑日志和镜像文件到内存,病合并。
(6)生成新的镜像文件fsimage.chkpoint.
(7)拷贝fsimage.chkpoint到NameNode.
(8)NameNode将fsimage.chkpoint重新命名成fsimage。
NN和2NN工作机制详解
Fsimage:NameNode 内存中元数据序列化后形成的文件。
Edits:记录客户端更新元数据信息的每一步操作(可通过 Edits 运算出元数据)。
Name
相关文章
- 02-17AXI4协议学习:架构、信号定义、工作时序和握手机制
- 02-17NN和2NN工作机制
- 02-17MapReduce框架原理-MapTask和ReduceTask工作机制
- 02-17NameNode和SecondaryNameNode工作机制
- 02-17通过库函数API和C代码中嵌入汇编代码剖析系统调用的工作机制
- 02-17工作中的趣事:聊聊ref/out和方法参数的传递机制
- 02-171 weekend110的NN元数据管理机制 + NN工作机制 + DN工作原理
- 02-17HDFS架构以及namenode和secondarynamenode的工作机制以及查看DataNode分块情况等
- 02-17hadoop的NAMENODE的管理机制,工作机制和DATANODE的工作原理
- 02-17C语言工作原理和运行机制