Cloudera Manager Server CDH 5.15部署

安装前准备

主机和系统

Host

OS

Memory

IP

bigdata001-dev

Cent OS 7.4 x64

32G

192.168.1.1

bigdata002-dev

Cent OS 7.4 x64

32G

192.168.1.2

bigdata003-dev

Cent OS 7.4 x64

15G

192.168.1.3

bigdata004-dev

Cent OS 7.4 x64

32

192.168.1.4

 

安装包下载

下载 cloudera-manager.repo 文件

 wget –P /etc/yum.repos.d https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/cloudera-manager.repo

 

升级 GPG key

sudo rpm --import https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/RPM-GPG-KEY-cloudera

 

 

系统和环境配置

更改主机名

打开网络配置

sudo vim /etc/sysconfig/network

NETWORKING=yes

HOSTNAME=bigdata002-dev.novalocal

重启网络

sudo service network restart

配置hosts文件

打开hosts文件

sudo vim /etc/hosts

改为如下配置

192.168.1.3  bigdata003-dev.novalocal

192.168.1.2  bigdata002-dev.novalocal

192.168.1.1  bigdata001-dev.novalocal

192.168.1.4  bigdata004-dev.novalocal

关闭内存大页

 

在 /etc/rc.d/rc.local 中添加一下内容

 

echo never > /sys/kernel/mm/transparent_hugepage/defrag

echo never > /sys/kernel/mm/transparent_hugepage/enabled

 

所有机器安装Java 8

旧版本卸载

#查看安装的Java

rpm -qa | grep java

#卸载相应的Java包

rpm –qa |grep jdk | xargs rpm -e --nodeps $1

 

下载 JDK tar包解压并配置环境变量

在你看到这篇文档的时候 Oracle JDK 可能已经开始收费了。所以我们可以试试 OpenJDK ,Cloudera 正在努力让自己的平台与 OpenJDK 适配,这应该不会花费太多时间

 

wget https://download.java.net/java/early_access/jdk8/b03/BCL/jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz

tar xzvf jdk-8u202-ea-bin-b03-linux-x64-07_nov_2018.tar.gz –C /user/java/

配置环境变量

Vim /etc/profile

# 添加一下内容

JAVA_HOME=/usr/java/jdk1.8.0_202

PATH=$JAVA_HOME/bin:$PATH

CLASSPATH=.:$JAVA_HOME/lib

export JAVA_HOME PATH CLASSPATH JRE_HOME

 

关闭所有机器的防火墙和SELinux

如果一个个配置端口的话会比较麻烦,所以在安装过程中就把防火墙关闭,可以在安装完成后再根据需求配置

关闭防火墙

关闭 iptables

service iptables stop

sudo chkconfig iptables off

关闭firewalld

systemctl disabled firewalld

我们的服务器 有salt 所以我们可以批量执行。在salt server 服务器

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl stop firewalld && systemctl disable firewalld’

关闭SELinux

临时关闭

sudo setenforce 0

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘setenforce 0 && getenforce ’

 

如果要永久关闭,可以修改配置:

sudo vim /etc/selinux/config

修改以下配置

SELINUX=disabled

启动 NTP 服务

Service ntpd start

Chkconfig ntpd on

Systemctl start ntpd

Systemctl enable ntpd

Salt ‘bigdata0[89]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd’

Salt ‘bigdata01[02]-dev.novalocal’ cmd.run ‘systemctl start ntpd && systemctl enable ntpd ’

 

注:如果不启动 ntpd 服务,scm agent 无法发现123 端口开放状态,会出现告警

 

Cloudera Manager Server 和 Agent 安装

Yum 安装

Yum 网络安装方式,如果你已经配置 yum 源

yum install cloudera-manager-daemons cloudera-manager-server

 

rpm 包安装

所有服务器都需要的操作:

我们使用 rpm 安装所以其他的依赖包需要使用 yum 安装

yum install bind-utils psmisc libxslt cyrus-sasl-plain cyrus-sasl-gssapi fuse  portmap fuse-libs  httpd mod_ssl python-psycopg2 redhat-lsb-core –y

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ivh cloudera-manager-daemons-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Server 服务器

https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5/RPMS/x86_64/

下载 server rpm 包

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

rpm –ihv cloudera-manager-server-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm cloudera-manager-server-db-2-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

 

Agent 服务器安装

Wget https://archive.cloudera.com/cm5/redhat/7/x86_64/cm/5.15.0/RPMS/x86_64/cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

Rpm –ivh cloudera-manager-agent-5.15.0-1.cm5150.p0.62.el7.x86_64.rpm

 

安装MySQL

数据库这一步我们可以找DBA 协助

在server 机安装配置MySQL

sudo yum install mysql-server

设置开机启动

sudo chkconfig mysqld on

启动MySQL service

sudo service mysqld start

设置root用户密码

sudo mysqladmin -u root password 'xxxx'

 

为Cloudera Manager建立数据库

下载MySQL驱动:http://dev.mysql.com/downloads/connector/j/

解压把驱动的jar文件mysql-connector-java.jar上传到/usr/share/java/

初始化数据cloudera库

sudo /user/share/cmf/schema/scm_prepare_database.sh mysql cm -hlocalhost -uroot -pmysql@Hadoop0 --scm-host localhost scm mysql@Hadoop:scm:88

 

如果DBA已经帮我们处理完的数据库的事情,我们需要修改 数据库配置文件

c /etc/cloudear-scm-server/db.properties

com.cloudera.cmf.db.type=mysql

com.cloudera.cmf.db.host=www.mydatabase.com:3306

com.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=devuser

com.cloudera.cmf.db.password=Devuser123

com.cloudera.cmf.db.setupType=EXTERNAL

 

在Master机上启动Cloudera Manager  Server

Systemctl start cloudera-scm-server

Systemctl enable cloudera-scm-server

 

Agent配置

在所有机器上配置Master机的主机名

sudo vim /etc/cloudera-scm-agent/config.ini

把server_host设置成Master机的主机名

server_host=192.1687.1.2

启动agent 

Systemctl  start cloudera-scm-agent

Systemctl enable cloudera-scm-agent

 

打开Cloudera Manager主页

http://192.168.1.10:7180/

第一次启动比较慢,可能需要等待几分钟才可以打得开cloudera manager主页。

Cloudera Manager Server  CDH 5.15部署

登录Cloudera Manager

默认用户名密码都是admin,第一次登录成功之后先进入到cloudera manager的安装引导界面:

 Cloudera Manager Server  CDH 5.15部署

 

 

CDH安装

CDH文件上传

下载 CDH 安装包和 sha 验证文件

http://archive.cloudera.com/cdh5/parcels/5.15.0/

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

wget http://archive.cloudera.com/cdh5/parcels/5.15.0/CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha1

在通过 Cloudera Manager 进行网络安装CDH 的时候可能会比较慢,或卡住所以我们可以将已经下好的 CDH 包上传到server 端服务器上

把下载好的CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha1 重命名 

CDH-5.7.1-1.cdh5.7.1.p0.11-el6.parcel.sha

把CDH的parcel和sha文件上传到server机 的 /opt/cloudera/parcel-repo/目录

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel

CDH-5.15.0-1.cdh5.15.0.p0.21-el7.parcel.sha

 Cloudera Manager Server  CDH 5.15部署

 

选择cloudera manager的版本

 

选择要安装CDH的主机

所有正常启动agent的机器都会显示在这个页面

Cloudera Manager Server  CDH 5.15部署

 

 

选择要安装的Parcels

 Cloudera Manager Server  CDH 5.15部署

 

安装Parcel

 Cloudera Manager Server  CDH 5.15部署

 

选择要安装的服务

如下图所示,有多种服务组合供选择(服务是随时可以根据需求增删的),我这里根据项目需求选择自定义服务。

 Cloudera Manager Server  CDH 5.15部署

 

集群设置

一般按默认设置就可以了,也可以根据自己的需求定制。

Cloudera Manager Server  CDH 5.15部署

 

 

 

点击继续安装,在安装的过程中可能会有一些服务的配置需要设置,一般按默认配置就可以了。

 Cloudera Manager Server  CDH 5.15部署  

完成安装

 Cloudera Manager Server  CDH 5.15部署

 

 

至此,Cloudear Manger/CDH的安装已经完成,你可以在Cloudear Manger管理界面上对集群进行更细化的定制。

 

上一篇:centos7下使用mysql离线安装包安装mysql5.7


下一篇:WinSCP与远程linux主机之间传输文件