CDH安装宝典之CMWebInstall

2023-11-05 17:35:58

前提

在CDH安装之前必须保证NODE1主节点中的以下程序均已启动
1.每台机器 :根据aliyun提供的服务进行 时间同步 :ntpdate -u ntp6.aliyun.com
    启动服务 
    systemctl start ntpd
    systemctl restart ntpd 
    查看是否启动 ps -ef | grep ntpd
    开机启动 systemctl enable ntpd.service 
    查看时间同步状态 ntpstat 
    查看时间 :date 或 timedatectl
2.必须保证MySQL启动了,才能正常启动Cloudera Manager Server :service mysql start
3.systemctl start httpd #必须保证已启动 httpd 
    #启动httpd服务之后,可以浏览器查看 192.168.88.100/cm6.1/ 和 192.168.88.100/cdh6.1/

4.systemctl start cloudera-scm-server #启动之后需要一段时间才能完全整个启动(一般一分钟之内),才可以访问得到 192.168.88.100:7180/cmf/login
  systemctl stop cloudera-scm-server    
  systemctl restart cloudera-scm-server        
    #启动Cloudera Manager Server,一般自动启动,无需手动
    1.ps -ef | grep cloudera-scm-server #查看是否启动
    2.systemctl status cloudera-scm-server #查看启动状态,启动正常显示 Active: active (running) 
    3.cloudera-scm-server #默认使用的端口 7180,那么就可以通过 192.168.88.100:7180/cmf/login 访问 CM
        netstat -lnpt | grep 7180 #显示 tcp 0  0 0.0.0.0:7180  0.0.0.0:*  LISTEN  68289/java

访问 CM

http://192.168.166.30:7180/cmf/hardware/hosts

1.通过 ip:7180/cmf/login 访问 CM

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VqoVCpQj-1641781598469)(…/…/…/图床/安装搭建/登录.png)]

2.可以忽略这个自动TLS自动安装,点击“继续”跳到下一个页面

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-CfgFjToo-1641781598470)(…/…/…/图床/安装搭建/TLS.png)]

3.输入主机ip或者名称,点击搜索找到主机后点击继续

node1,node2,node3

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7CVs1uUh-1641781598470)(…/…/…/图床/安装搭建/搜索主机.png)]

4.选择自定义存储库

http://192.168.166.30/CM/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DYCet9R3-1641781598471)(…/…/…/图床/安装搭建/CM%20库.png)]

5.使用Parcel选择,点击“更多选项”,点击“-”删除其它所有地址,

http://192.168.166.30/CDH/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-PqGsNYWw-1641781598476)(…/…/…/图床/安装搭建/CDH%20库.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HssLHlUY-1641781598476)(…/…/…/图床/安装搭建/更多选项.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6RQOiojq-1641781598477)(…/…/…/图床/安装搭建/远程库.png)]

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-rWmg06B4-1641781598477)(…/…/…/图床/安装搭建/选择cdh.png)]

6.进入下一步安装jdk,点击“继续”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2VPjw1Zm-1641781598477)(…/…/…/图床/安装搭建/JDK.png)]

7.进入下一步配置ssh账号密码(均为机器用户密码),点击“继续”

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fqnkpLec-1641781598477)(…/…/…/图床/安装搭建/登录.png)]

8.进入下一步，安装Cloudera Manager相关到各个节点，等待agent安装完毕后，自动跳转到下一步开始分发parcel，点击“继续”

9.进入下一步主机检查，确保所有检查项均通过。Fayson的机器因为有多个Java版本有一些警告，此步忽略。

1.警告：
从CDH 6开始，PostgreSQL支持的Hue要求Psycopg2版本至少为2.5.4，有关详细信息，请参阅文档。
如果主机不运行CDH 6，或者不使用PostgreSQL运行Hue，或者不兼容RHEL 6，则可以忽略此警告。
以下主机具有不兼容的Psycopg2版本“2.5.1”：
2.解决：

首先安装epel扩展源：yum -y install epel-release
更新完成之后，就可安装pip：yum -y install python-pip
安装完成之后清除cache：yum clean all
更新pip：pip install --upgrade pip
更新psycopg2：pip install --upgrade psycopg2 还是无法解决，暂时忽略
 其他：
     安装 python3 如下：
    yum install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gcc make
    https://www.python.org/ftp/python/3.7.2/Python-3.7.2.tar.xz
    tar -xvJf Python-3.7.2.tar.xz
    cd /root/Python-3.7.2
    ./configure prefix=/usr/local/python3
    make && make install
    ln -s /usr/local/python3/bin/python3 /usr/bin/python
    执行python3 -V  看看输出的是不是python3的版本
    执行python2 -V 和 python -V 看到的就是python2的版本
    如果执行 python -V 是python3的版本的话，需要修改如下情况：
        因为执行yum需要python2版本，所以我们还要修改yum的配置，执行 vi /usr/bin/yum 把 #! /usr/bin/python 修改为 #! /usr/bin/python2
        同理 vi /usr/libexec/urlgrabber-ext-down 文件里面的 #! /usr/bin/python 也要修改为 #! /usr/bin/python2

10.选择需要安装的服务

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-teOd3vSY-1641781598478)(…/…/…/图床/安装搭建/选择服务.png)]

11.进入集群角色分配

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zxdfGyib-1641781598478)(…/…/…/图床/安装搭建/角色分配.png)]

12.测试数据库连接

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kmz48fo5-1641781598478)(…/…/…/图床/安装搭建/数据库.png)]

13.进入目录设置，此处使用默认目录，根据实际情况进行目录修改（默认不需要修改）

14.正常全部安装：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O1iMHT8e-1641781598479)(…/…/…/图床/安装搭建/检查结果.png)]

码农公寓

前提