HDFS客户端读写流程以及元数据、namenode和secondarynamenode checkpoint原理

1.HDFS客户端写流程

HDFS客户端读写流程以及元数据、namenode和secondarynamenode checkpoint原理

 

 

 

2.HDFS客户端读流程

HDFS客户端读写流程以及元数据、namenode和secondarynamenode checkpoint原理

 

 

 

3. 元数据

HDFS客户端读写流程以及元数据、namenode和secondarynamenode checkpoint原理

 

 

 

 

 

NameNode中读、写、以及DataNode映射等信息叫做“元数据”,Namenode主要维护两个文件,一个是fsimage,一个是edits log。

edits log :主要是在NameNode已经启动情况下对HDFS进行的各种更新操作进行记录,HDFS客户端执行所有的写操作都会被记录到editlog中。

fsimage :保存NameNode节点中某一时刻内存中的元数据(即目录树),edits保存这一时刻之后的对元数据的更改信息。

注意:Block的位置信息不会保存到fsimage,Block保存在哪个DataNode(由DataNode启动时上报)。

在NameNode运行时会将内存中的元数据信息存储到所指定的文件,即$/current目录下的fsimage文件,此外还会将另外一部分对NameNode更改的日志信息存储到$/current目录下的edits文件中。fsimage文件和edits文件可以确定NameNode节点当前的状态。

 

4.namenode和secondarynamenode、checkpoint原理

namenode :单一主元数据服务器,其中包含每个文件、文件位置以及这些文件及其所在的DataNode内的所有数据块的内存映射。

secondarynamenode : secondarynamenode 其实是namenode的备份,只不过secondarynamenode 在特定的时间间隔给namenode做备份

我们在hdfs.xml配置文件中添加SecondaryNameNode的地址:

<property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadop52:50090</value>
</property>

 

以下即是checkpoint过程:

  1. 辅助Namenode请求主Namenode停止使用edits文件,暂时将新的写操作记录到一个新文件中,如edits.new。
  2. 辅助Namenode节点从主Namenode节点获取fsimage和edits文件(采用HTTP GET)
  3. 辅助Namenode将fsimage文件载入到内存,逐一执行edits文件中的操作,创建新的fsimage文件
  4. 辅助Namenode将新的fsimage文件发送回主Namenode(使用HTTP POST)
  5. 主Namenode节点将从辅助Namenode节点接收的fsimage文件替换旧的fsimage文件,用步骤1产生的edits.new文件替换旧的edits文件(即改名)。同时更新fstime文件来记录检查点执行的时间

 

上一篇:Tensorflow搭建多GPU框架集成模型切换、数据制作、测试


下一篇:(15)使用checkpoint进行故障恢复