DataNode 工作机制

2022-11-17 19:17:55

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35641192/article/details/80303879

版权声明：本文为CSDN博主「JokerDa」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35641192/article/details/80303879

DataNode工作机制

1）一个数据块在DataNode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据包括数据块的长度，块数据的校验和，以及时间戳。

2）DataNode启动后向NameNode注册，通过后，周期性（1小时）的向NameNode上报所有的块信息。

3）心跳是每3秒一次，心跳返回结果带有NameNode给该DataNode的命令如复制块数据到另一台机器，或删除某个数据块。如果超过10分钟没有收到某个DataNode的心跳，则认为该节点不可用。

4）集群运行中可以安全加入和退出一些机器。

2 数据完整性

1 当 DataNode 读取 block 的时候，它会计算 checksum。
2 如果计算后的 checksum，与 block 创建时值不一样，说明 block 已经损坏。
3 client 读取其他 DataNode 上的 block。
4 datanode 在其文件创建后周期验证 checksum。

3 掉线时限参数设置

datanode 进程死亡或者网络故障造成 datanode 无法与 namenode 通信， namenode 不会立即把该节点判定为死亡，要经过一段时间，这段时间暂称作超时时长。 HDFS 默认的超时时长为 10 分钟+30 秒。如果定义超时时间为 timeout，则超时时长的计算公式为：

timeout = 2 * dfs.namenode.heartbeat.recheck-interval + 10 * dfs.heartbeat.interval。

而默认的 dfs.namenode.heartbeat.recheck-interval 大小为 5 分钟,dfs.heartbeat.interval 默认为 3 秒。
需要注意的是 hdfs-site.xml 配置文件中的 heartbeat.recheck.interval 的单位为毫秒，dfs.heartbeat.interval 的单位为秒。

<property>
<name>dfs.namenode.heartbeat.recheck-interval</name>
<value>300000</value>
</property>
<property>
<name> dfs.heartbeat.interval </name>
<value>3</value>
</property>

4 DataNode 的目录结构

和 namenode 不同的是， datanode 的存储目录是初始阶段自动创建的，不需要额外格式化。
1 在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current 这个目录下查看版本号

[joker@hadoop102 current]$ cat VERSION
#Mon May 14 05:49:02 CST 2018
storageID=DS-581ac582-b391-46e3-bd0d-1faf1d7a60a4
clusterID=CID-00dee7c8-56b6-4a9f-a6ef-f596ab7d473e
cTime=0
datanodeUuid=a4cf5657-6bba-4de8-a4f0-c115fe69566c
storageType=DATA_NODE
layoutVersion=-56

2 具体解释

1） storageID：存储 id 号
2） clusterID 集群 id，全局唯一
3） cTime 属性标记了 datanode 存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为 0；但是在文件系统升级之后，该值会更新到新的时间戳。
4） datanodeUuid： datanode 的唯一识别码
5） storageType：存储类型
6） layoutVersion 是一个负整数。通常只有 HDFS 增加新特性时才会更新这个版本号。

3）在/opt/module/hadoop-2.7.2/data/tmp/dfs/data/current/BP-97847618-192.168.10.102-1493726072779/current 这个目录下查看该数据块的版本号

[joker@hadoop102 current]$ cat VERSION
#Mon May 08 16:30:19 CST 2017
#Mon May 14 05:49:02 CST 2018
namespaceID=373601505
cTime=0
blockpoolID=BP-688790930-192.168.25.102-1525647195991
layoutVersion=-56

4 具体解释
1） namespaceID：是 datanode 首次访问 namenode 的时候从 namenode 处获取的storageID 对每个 datanode 来说是唯一的（但对于单个 datanode 中所有存储目录来说则是相同的），namenode 可用这个属性来区分不同 datanode。

2） cTime 属性标记了 datanode 存储系统的创建时间，对于刚刚格式化的存储系统，这个属性为 0；但是在文件系统升级之后，该值会更新到新的时间戳。

3） blockpoolID：一个 block pool id 标识一个 block pool，并且是跨集群的全局唯一。当一个新的 Namespace 被创建的时候(format 过程的一部分)会创建并持久化一个唯一 ID。在创建过程构建全局唯一的 BlockPoolID 比人为的配置更可靠一些。NN 将 BlockPoolID 持久化到磁盘中，在后续的启动过程中，会再次 load 并使用。

4） layoutVersion 是一个负整数。通常只有 HDFS 增加新特性时才会更新这个版本号。

5 服役新数据节点

0 需求：
随着公司业务的增长，数据量越来越大，原有的数据节点的容量已经不能满足存储数据的需求，需要在原有集群基础上动态添加新的数据节点。

1 环境准备
1）克隆一台虚拟机
2）修改 ip 地址和主机名称
3）修改 xcall 和 xsync 文件，增加新`增节点的同步 ssh
4）删除原来 HDFS 文件系统留存的文件
/opt/module/hadoop-2.7.2/data

2 服役新节点具体步骤
1）在 namenode 的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建 dfs.hosts 文件

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ touch dfs.hosts
[joker@hadoop102 hadoop]$ vim dfs.hosts
#添加如下主机名称（包含新服役的节点）
hadoop102
hadoop103
hadoop104
hadoop105

2）在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts 属性

<property>
<name>dfs.hosts</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts</value>
</property>

3）刷新 namenode

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful

4）更新 resourcemanager 节点

[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
18/05/13 14:17:11 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

5）在 namenode 的 slaves 文件中增加新主机名称

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ vim slaves 
#增加 105 
hadoop102
hadoop103
hadoop104
hadoop105
#分发
[joker@hadoop102 hadoop]$ xsync hdfs-site.xml
[joker@hadoop102 hadoop]$ xsync slaves

6）单独命令启动新的数据节点和节点管理器

[joker@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode
starting datanode, logging to /opt/module/hadoop-2.7.2/logs/hadoop-joker-datanode-hadoop105.out
[joker@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh start nodemanager
starting nodemanager, logging to /opt/module/hadoop-2.7.2/logs/yarn-joker-nodemanager-hadoop105.out

7）在 web 浏览器上检查是否 ok

3 如果数据不均衡，可以用命令实现集群的再平衡

[joker@hadoop102 sbin]$ ./start-balancer.sh

6 退役旧数据节点

1 在namenode的/opt/module/hadoop-2.7.2/etc/hadoop 目录下创建dfs.hosts.exclude 文件

[joker@hadoop102 hadoop]$ pwd
/opt/module/hadoop-2.7.2/etc/hadoop
[joker@hadoop102 hadoop]$ touch dfs.hosts.exclude
[joker@hadoop102 hadoop]$ vim dfs.hosts.exclude
添加如下主机名称（要退役的节点）
hadoop105

2 在 namenode 的 hdfs-site.xml 配置文件中增加 dfs.hosts.exclude 属性

<property>
<name>dfs.hosts.exclude</name>
<value>/opt/module/hadoop-2.7.2/etc/hadoop/dfs.hosts.exclude</value>
</property>

3 刷新 namenode、刷新 resourcemanager

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
Refresh nodes successful
[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes
18/05/13 14:55:56 INFO client.RMProxy: Connecting to ResourceManager at hadoop103/192.168.25.103:8033

4 检查 web 浏览器，退役节点的状态为 decommission in progress（退役中），说明数据节点正在复制块到其他节点。

5 等待退役节点状态为 decommissioned（所有块已经复制完成），停止该节点及节点资源管理器。注意：如果副本数是 3，服役的节点小于等于 3，是不能退役成功的，需要修改副本数后才能退役。

[joker@hadoop105 hadoop-2.7.2]$ sbin/hadoop-daemon.sh stop datanode
stopping datanode
[joker@hadoop105 hadoop-2.7.2]$ sbin/yarn-daemon.sh stop nodemanager
stopping nodemanager

6 从 include 文件中删除退役节点，再运行刷新节点的命令
1）从 namenode 的 dfs.hosts 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104
2）刷新 namenode，刷新 resourcemanager

[joker@hadoop102 hadoop-2.7.2]$ hdfs dfsadmin -refreshNodes
[joker@hadoop102 hadoop-2.7.2]$ yarn rmadmin -refreshNodes

7 从 namenode 的 slave 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104

#同步配置文件
[joker@hadoop102 hadoop]$ xsync hdfs-site.xml
[joker@hadoop102 hadoop]$ xsync slaves

8 如果数据不均衡，可以用命令实现集群的再平衡

[joker@hadoop102 hadoop-2.7.2]$ sbin/start-balancer.sh

7 Datanode 多目录配置

1 datanode 也可以配置成多个目录，每个目录存储的数据不一样。即：数据不是副本。
2 具体配置如下：hdfs-site.xml

<property>
    <name>dfs.datanode.data.dir</name>
    <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.tmp.dir}/dfs/data2</value>
</property>

6 从 include 文件中删除退役节点，再运行刷新节点的命令
1）从 namenode 的 dfs.hosts 文件中删除退役节点 hadoop105
hadoop102
hadoop103
hadoop104
2）刷新 namenode，刷新 resourcemanager
————————————————
版权声明：本文为CSDN博主「JokerDa」的原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/qq_35641192/article/details/80303879

码农公寓