1 新增Data节点
1.1 修改/etc/hosts,增加datanode的ip
1.2 在新增加的节点启动服务
hadoop-daemon.sh start datanode
yarn-daemon.sh start nodemanager
1.3 均衡block
start-balancer.sh
1)如果不balance,那么cluster会把新的数据都存放在新的node上,这样会降低mapred的工作效率
2)设置平衡阈值,默认是10%,值越低各节点越平衡,但消耗时间也更长
start-balancer.sh -threshold
2 删除节点
2.1 修改修改conf/hdfs-site.xml文件中的 “dfs.hosts.exclude“,确定要下架的机器,dfs.hosts.exclude定义的文件内容为,每个需要下线的机器,一行一个。这个将阻止他们去连接Namenode。如:
slave-
slave-
2.2 强制重新加载配置
hadoop dfsadmin -refreshNodes
2.3 关闭节点
等待上面的操作结束后,需要下架的机器就能安全的关闭了
2.4 查看机群概况
hadoop dfsadmin -report
2.5 再次编辑conf/hdfs-site.xml文件,修改dfs.hosts.exclude,将下架的机器移除