不新鲜的集群重新格式化namenode,用hdfs namenode -format报错

hdfs namenode -format

对于一个新鲜的集群,使用hdfs namenode -format是必须要做的事情,这一步叫格式化namenode,format英文本身的意思就是格式化

格式化namenode的目的:HDFS需要格式化的过程来创建存放元数据(image,editlog)的目录

 

我在安装hadoop集群的时候,经常会遇到虚拟机centos7崩溃

这个时候我的slave1和slave2已经是使用过一段时间的集群了,正是因为master的突然崩溃,不得已重新克隆一份slave1节点的完整副本作为master节点

如果不对/export/servers/hadoop-3.1.1/datas/datanode/datanodeDatas/current下的VERSION文件的各种ID(clusterID、storageID)进行修改,有可能

datanode就可以能启动不成功!相应的在log日志中查看hadoop-root-datanode-slave2.log 也可以看到这个错误

至于要不要清空日志里的文件,本人觉得没有太大的必要,因为日志在hadoop配置文件种可以设置几小时清理一次

为保证系统网卡的UUID不发生冲突,最好也将其改一下数字

这时候,在master里重新格式化namenode成功了

不新鲜的集群重新格式化namenode,用hdfs namenode -format报错

上一篇:HDFS--功能及架构


下一篇:《大数据: HBase与Hive集成使用》