大数据集群,这些关键问题需要注意,持续更新

1 集群启动及初始化配置问题

集群配置修改好后,往往需要重启。每个集群的重启方式不一样,需要根据集群具体设定。

例如:我们现有第三方平台的重启方式为:sh /opt/workspace/executor-proxy/sbin/app.sh restart

修改初始化内存分配的方式为:设置初始化内存为1g

pwd
/opt/workspace/executor-proxy/sbin

diff env.sh env.sh.bak 
8c8
< export MEM=" -Xms1g -Xmx1g"
---
> export MEM=${MEM:-}
80c80
< export env=dev
---
> export env=dev

2大数据集群和基础平台的适配过程

这个过程要非常注意HDFS开启高可用之后的nameservice配置

3 HDFS升级HA过程

升级过程未成功,出现namenode都未启动情况:

大数据集群,这些关键问题需要注意,持续更新

 格式化共享编辑目录

在后台分别格式化namenode

hdfs namenode -format
hdfs namenode -initializeSharedEdits

tail -f /var/log/hadoop-hdfs/hadoop-cmf-hdfs-NAMENODE-cdh-0001.log.out

大数据集群,这些关键问题需要注意,持续更新

 ​​​​​​​大数据集群,这些关键问题需要注意,持续更新

 

上一篇:windows 安装 hadoop 3.21 bug


下一篇:sql随机查询数据语句(NewID(),Rnd,Rand(),random())