Cloudera Manager 环境搭建

• • • • ClouderaManager环境安装前准备
      • 搭建3台服务器
      • 修改网卡
      • 修改ip地址
      • 更改主机名
      • 更改主机名与IP地址的映射
      • 关闭防火墙
      • 关闭selinux
      • SSH免密登录
      • 安装MySQL
      • 安装JDK
      • 三台机器时钟同步
      • 解除linux系统打开文件最大数量的限制
      • 设置linux交换区内存
      • ClouderaManager安装资源下载
      • 启动服务
      • 浏览器页面访问

ClouderaManager环境安装前准备

这里我们准备三台虚拟机，其中一台作为我们的主节点，安装我们的ClouderaManager Server与ClouderaManager agent，另外两台作为我们的从节点只安装我们的clouderaManager agent
对虚拟机内存要求较高

搭建3台服务器

搭建3台服务器（克隆或者新建）

修改网卡

vim /etc/udev/rules.d/70-persistent-net.rules 

修改ip地址

vim /etc/sysconfig/network-scripts/ifcfg-eth0

更改主机名

vim /etc/sysconfig/network

更改主机名与IP地址的映射

vim /etc/hosts

关闭防火墙

service iptables stop
chkconfig iptables off

关闭selinux

vim /etc/selinux/config
SELINUX=disabled

SSH免密登录

Linux：ssh无密码跳转登录目标服务器

安装MySQL

安装MySQL及其驱动
通过yum源，在线安装mysql

yum  install  mysql  mysql-server  mysql-devel
/etc/init.d/mysqld start
/usr/bin/mysql_secure_installation

进入mysql客户端执行以下命令

grant all privileges on *.* to 'root'@'%' identified by '123456' with grant option;
flush privileges;

将mysql-connector-java-5.1.27-bin.jar拷贝到/usr/share/java路径下，并重命名

mv mysql-connector-java-5.1.27-bin.jar mysql-connector-java.jar

分发驱动到其他节点

安装JDK

JDK1.8安装部署

将cm1中的JDK和环境变量分发到cm02、cm03两台主机

三台机器时钟同步

三台机器需要进行时钟同步操作，保证三台机器时间相同

启动NTP服务 service ntpd start
crontab -e

*/1 * * * * /usr/sbin/ntpdate ntp4.aliyun.com;

解除linux系统打开文件最大数量的限制

三台机器都需要执行
vi /etc/security/limits.conf

添加以下内容

*	soft noproc 11000
*	hard noproc 11000
*	soft nofile 65535
*	hard nofile 65535

设置linux交换区内存

三台机器都要执行

echo 10 > /proc/sys/vm/swappiness


并编辑文件sysctl.conf：
vim /etc/sysctl.conf
添加或修改
vm.swappiness = 0


三台机器都要执行：
echo never > /sys/kernel/mm/transparent_hugepage/defrag 
echo never > /sys/kernel/mm/transparent_hugepage/enabled


并编辑文件rc.local ：
vim /etc/rc.local

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

ClouderaManager安装资源下载

第一步：下载安装资源并上传到服务器

我们这里安装CM5.14.0这个版本，需要下载以下这些资源，一共是四个文件即可

下载cm5的压缩包
下载cm5的压缩包具体文件地址

下载cm5的parcel包
第一个文件具体下载地址
第二个文件具体下载地址
第三个文件具体下载地址
将这四个安装包都上传到第一台机器的/export/softwares路径下

第二步：解压压缩包到指定路径

解压CM安装包到/opt路径下去
tar -zxvf cloudera-manager-el6-cm5.14.0_x86_64.tar.gz -C /opt/

第三步：将我们的parcel包的三个文件拷贝到对应路径

将我们的parcel包含三个文件，拷贝到/opt/cloudera/parcel-repo路径下面去，并记得有个文件需要重命名
cp CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 manifest.json  /opt/cloudera/parcel-repo/

重命名标黄的这个文件
cd /opt/cloudera/parcel-repo/
mv CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha1 CDH-5.14.0-1.cdh5.14.0.p0.24-el6.parcel.sha

第四步：所有节点添加普通用户并给与sudo权限

在所有节点机器上面添加普通用户并赋予sudo权限
执行以下命令创建普通用户cloudera-scm
useradd --system --home=/opt/cm-5.14.0/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm


赋予cloudera-scm普通用户的sudo权限
visudo

cloudera-scm ALL=(ALL) NOPASSWD: ALL

第五步：更改主节点的配置文件

cm1机器上面更改配置文件
vim /opt/cm-5.14.0/etc/cloudera-scm-agent/config.ini
server_host=cm1

第六步：将/opt目录下的安装包发放到其他机器

将第一台机器的安装包发放到其他机器
cd /opt
scp -r cloudera/ cm-5.14.0/ cm02:/opt
scp -r cloudera/ cm-5.14.0/ cm03:/opt

第七步：创建一些数据库备用

cm1机器上面创建数据库
hive 数据库
create database hive DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

集群监控数据库
create database amon DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

hue 数据库
create database hue DEFAULT CHARSET utf8 COLLATE utf8_general_ci;


oozie 数据库
create database oozie DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

相应数据库授权
grant all on amon.* to 'reports'@'%' identified by '123456';
grant all on oozie.* to 'oozie'@'%' identified by '123456';
grant all on hue.* to 'hue'@'%' identified by '123456';
grant all on hive.* to 'hive'@'%' identified by '123456';
grant all on *.* to 'root'@'%' identified by '123456';

第八步：准备数据库连接的驱动包
在所有机器上面都准备一份数据库的连接驱动jar包放到/usr/share/java路径下
准备一份mysql的驱动连接包，放到/usr/share/java路径下去

wget https://dev.mysql.com/get/Downloads/Connector-J/mysql-connector-java-5.1.45.tar.gz
tar -zxvf mysql-connector-java-5.1.45.tar.gz
cd /export/softwares/mysql-connector-java-5.1.45
cp mysql-connector-java-5.1.45-bin.jar /usr/share/java/mysql-connector-java.jar

拷贝驱动包到其他机器
cd /usr/share/java
scp mysql-connector-java.jar cm02:$PWD

第九步：为clouderaManager创建数据库

node01服务器执行
/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh mysql -hcm01  -uroot -p123456 --scm-host cm01 scm root 123456

命令说明：/opt/cm-5.14.0/share/cmf/schema/scm_prepare_database.sh 数据库类型 -h数据库主机 –u数据库用户名 –p数据库密码 --scm-host cm主机 数据库名称 用户名 密码

启动服务

启动mysql
/etc/init.d/mysqld start

主节点启动clouderaManager Server与ClouderaManager  agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-server start
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

从节点cm2和cm3启动ClouderaManager agent服务
/opt/cm-5.14.0/etc/init.d/cloudera-scm-agent start

所有节点：
ntpdate -u time1.aliyun.com
service ntpd restart

浏览器页面访问

http://cm01:7180

默认用户名admin
密码 admin