cloudera 添加节点操作 Datanode

环境 Cm service centos 6.9
新增加节点 ; centos 6.10

基础环境安装

确保新增几点 ssh 免密、ntp时间同步、对数据库的访问权限已经全部添加

然后(#在添加服务的几点)
yum install -y yum-priorities
#Host /etc/yum.repos.d/cloudera-manager-local.repo 配置(baseurl 自己发布库包)
[cloudera-manager-local]
name=Cloudera Manager
baseurl=http://repo-host/cm/
gpgkey =
gpgcheck = 0
priority = 1

(priorty 优先级设置 1为最高优先级)
yum install -y wget
#CM5.12以后CM Agent需要iproute
yum install -y iproute

安装JDK(建议先将原来的jdk 卸载掉 让后新装新版本的 /usr/java)
scp jdk-8u131-linux-x64.rpm root@192.***:/root

mv /root/jdk-8u131-linux-x64.rpm /usr/java/

在/usr/java 下rpm 安装/root/jdk-8u131-linux-x64.rpm
rpm -i jdk-7u4-linux-x64.rpm

编辑 /etc/hosts

然后登录到cm web 页面(在页面上完成节点添加工作)
添加host
cloudera 添加节点操作 Datanode

选择cm service 节点的 id_rsa 私钥
cloudera 添加节点操作 Datanode

注:添加过程中遇到的问题(因为环境比较乱 1.正在换域名和将host换成powdns 过程中 导致/etc/hosts 主机名和ip 映射比较乱)
必要配置:
1、新增加datanode 节点/etc/hosts 下存在 zk 和namenode resoucemange 的主机名对应关系
2、namenode 中增加 新增节点的 ip 主机名对应关系

参考步骤:
https://www.cloudera.com/documentation/enterprise/5-13-x/topics/cm_mc_adding_hosts.html#cmug_topic_7_5_1__title_215

出现问题:sqoop 在其对镜节点的容器下报 unsupportedclassversionerror 错误
在运行任务时发现任务查找以前的 jdk 版本(可能是自己没有卸掉以前jdk 然后安装新的版本jdk 结果)

在cm 中指定新jdk 路径解决

上一篇:实现跨域的项目实践


下一篇:更新SQL Server数据库数据