CentOS7安装CDH 第十一章:离线升级CDH版本

相关文章链接

 

1. 升级概述

1、CM(cloudera manager)升级概述:

  CM的安装是使用rpm包的安装,详情请看上述CM的安装,所以升级的时候也是rpm包的升级即可。

2、CDH升级概述:

  CDH的安装是使用离线的Parcel包安装的,所以也使用Parcel来升级,需要先将Parcel包离线下载下来。

2. 升级中需要注意的地方

1.在生产环境中升级一定要注意记得备份数据库HDFS

2.当对python进行升级时候会发现yum源不能使用,可以进行如下操作:

  a) 当对python升级之后,是因为没有一个模块module,所以导致yum不能使用(即当前python里找不到yum源模块),此时可以将python重新指向升级之前的文件,就可以使用了。

  b) 具体操作如下:

    CentOS7安装CDH 第十一章:离线升级CDH版本

    修改如下位置:

    CentOS7安装CDH 第十一章:离线升级CDH版本

    执行清理yun源的操作就可以正常使用了:yum clean all

3.在升级过程中,有可能遇到文件没有下载失败(即在下载、分配那一个界面失败)的情况,如下图所示,此时可以采取如下操作(以升级CDH5.16为例):

  CentOS7安装CDH 第十一章:离线升级CDH版本

  a) 找到对应机器,执行如下命令,进入到相应的文件夹中,再查看该目录下的所有文件(包括隐藏文件),可以看到一个.flood文件夹,这是下载和解压所用的文件夹,根据具体情况对其中的CDH5.16的包进行删除:

    cd /opt/cloudera/parcels

    ll -a

  

  b) 执行如下命令,要保证磁盘空间充足,在对CDH5.16进行升级时,磁盘至少需要7G以上的空间,不然会失败,有如下异常,以后根据CDH的版本更新,有可能需要的空间更多(这方面可以询问运维):

    异常:Src file /opt/cloudera/parcels/.flood/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel/CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel does not exist

    查看磁盘的命令:df -h

  c) 可以查找flood进程,然后kill掉,重启agent服务,去web界面安装:

    ps -ef | grep flood

    kill -9 进程号(可以直接使用如下命令解决:kill -9 $(pgrep -f flood))

    service cloudera-scm-agent restart

  d) 查看日志方式:

    cd /var/log/cloudera-scm-agent/

    tail -f cloudera-scm-agent.log

    也可以先清空日志(echo "" > xxx.log),然后运行服务,看报什么错,

    再直接使用sz命令,将日志发送到windows中进行查看

3. CM(cloudera manager)升级

1.下载cm的tar包和CDH的parcels包,并将这些包上传到/var/www/html目录下,此过程可以参考上述CDH离线安装中的过程,完成之后能在浏览器上看到如下界面:

  CentOS7安装CDH 第十一章:离线升级CDH版本

2.检查 /etc/yum.repos.d/cloudera-manager.repo 中的yum源是否设置正确,如果其中最后是5,就不需要修改,因为在解压的cm包中有软连接,如下图:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  CentOS7安装CDH 第十一章:离线升级CDH版本 

  请注意:上述的yum源,是所有机器都要检查,都要一致,保证其它机器能从cm机器上下载到CM的安装包。

  此时将parcels的地址配置到CDH的Parcel配置中,会出现如下错误:

    CentOS7安装CDH 第十一章:离线升级CDH版本

  这时需要先将CM升级之后,才能升级CDH,直接去升级CM就可以了。

3.关闭CDH集群中各个服务和CM服务

  CentOS7安装CDH 第十一章:离线升级CDH版本

4.关闭集群中各个机器的server和agent服务和数据库服务

  # 停止服务命令

  service cloudera-scm-agent stop

  service cloudera-scm-server stop

  service mysqld stop(由于本集群是使用mysql数据库,所以关闭mysql)

  # 数据库备份命令,以下以cmf数据库为例,其它数据库也要备份

  mysqldump -uroot -p123456 cmf > /tmp/cmf20171015.sql

  mysql -uroot -p  cmf < /tmp/cmf20171015.sql

5.升级cm机器的server+agent

  [root@bigdata01 ~]# yum clean all

  [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

  [root@bigdata01 ~]# yum upgrade 'cloudera-*'

  [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

6.升级集群其他机器的agent

  [root@bigdata01 ~]# yum clean all

  [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

  [root@bigdata01 ~]# yum upgrade 'cloudera-*'

  [root@bigdata01 ~]# rpm -qa 'cloudera-manager-*'

7.启动集群机器的 db,server,agent

  service mysqld start

  service cloudera-scm-agent start

  service cloudera-scm-server start

8.登录web的7180界面,进行CM服务的启动操作:

  登录页面之后发现如下页面显示,点击运行Host Inspector进行主机检查,检查之后点击显示检查结果,会发现有大页面的提示,此时参照上述CDH安装章节的大页面解决方案,解决完大页面。

  CentOS7安装CDH 第十一章:离线升级CDH版本

  解决大页面之后发现如下界面,点击启动CM的服务:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  启动CM服务之后会进入升级向导界面,依次点击下一步即可:

  CentOS7安装CDH 第十一章:离线升级CDH版本

9.CM升级成功:

  CentOS7安装CDH 第十一章:离线升级CDH版本

4. CDH集群升级

1、检查Parcel中的本地url是否配置好:

  CentOS7安装CDH 第十一章:离线升级CDH版本

2、在CDH的主界面的Cluster上点击升级集群按钮:

  CentOS7安装CDH 第十一章:离线升级CDH版本

3、选择已配置好的离线Parcel的版本,并进行主机检查(主机检查可能会有大页面和swap等警告,可以参照上述CDH安装章节处理或百度),然后勾选已执行上述的复选框,再点击继续按钮:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  CentOS7安装CDH 第十一章:离线升级CDH版本

4、会进行下载,分配和解压等操作,等执行完点击继续按钮:

  CentOS7安装CDH 第十一章:离线升级CDH版本

5、选择完整集群重启升级,但此操作会重启集群上所有服务:

  CentOS7安装CDH 第十一章:离线升级CDH版本

6、会对集群上的所有服务进行安装和启动:

  CentOS7安装CDH 第十一章:离线升级CDH版本

7、升级成功:

  CentOS7安装CDH 第十一章:离线升级CDH版本

8、在升级CDH之后有可能出现oozie的内部版本和共享库版本不匹配,此时可以在oozie服务上重新安装共享版本,如下所示:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  停止oozie服务:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  安装oozie共享库:

  CentOS7安装CDH 第十一章:离线升级CDH版本

  重新启动oozie:

  CentOS7安装CDH 第十一章:离线升级CDH版本

上一篇:CentOS7安装CDH 第三章:CDH中的问题和解决方法


下一篇:Apach Hadoop 与 CDH 区别