Hadoop 新增删除节点

1 新增Data节点

1.1 修改/etc/hosts,增加datanode的ip

1.2 在新增加的节点启动服务

hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager

1.3 均衡block

start-balancer.sh

1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率 
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长

start-balancer.sh -threshold 

2 删除节点

2.1 修改修改conf/hdfs-site.xml文件中的  “dfs.hosts.exclude“,确定要下架的机器,dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:

slave-
slave-

2.2 强制重新加载配置

hadoop dfsadmin  -refreshNodes

2.3 关闭节点

等待上面的操作结束后,需要下架的机器就能安全的关闭了

2.4 查看机群概况

hadoop dfsadmin -report

2.5 再次编辑conf/hdfs-site.xml文件,修改dfs.hosts.exclude,将下架的机器移除

上一篇:Does the C standard guarantee buffers are not touched past their null terminator?


下一篇:小程序:总结(cncode项目流程)