离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

2021-12-25 04:14:35

Cloudera Manager

Cloudera Manager 分为两个部分：CDH和CM。

CDH是Cloudera Distribution Hadoop的简称，顾名思义，就是cloudera公司发布的Hadoop版本，封装了Apache Hadoop，提供Hadoop所有的服务，包括HDFS,YARN,MapReduce以及各种相关的components:HBase, Hive, ZooKeeper,Kafka等。

CM是cloudera manager的简称，是CDH的管理平台，主要包括CM server, CM agent。通过CM可以对CDH进行配置，监测，报警，log查看，动态添加删除各种服务等。

一、准备工作

环境

JDK:1.8  
centos:7.3

操作系统：CentOS 6
JDK 版本：1.7.0_80

所需安装包及版本说明：由于我们的操作系统为CentOS7，需要下载以下文件：

cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1

manifest.json

Cloudera Manager 下载目录
http://archive.cloudera.com/cm5/cm/5/

CDH 下载目录
http://archive.cloudera.com/cdh5/parcels/5.12.1/

manifest.json 下载
http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.json

CHD5 相关的 Parcel 包放到主节点的/opt/cloudera/parcel-repo/目录中

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 重命名为 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

这点必须注意，否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel 文件

本文采用离线安装方式，在线安装方式请参照官方文

主机名 ip地址 安装服务
node1 (Master) 192.168.252.121 jdk、cloudera-manager、MySql
node2 (Agents) 192.168.252.122 jdk、cloudera-manager
node3 (Agents) 192.168.252.123 jdk、cloudera-manager
node4 (Agents) 192.168.252.124 jdk、cloudera-manager
node5 (Agents) 192.168.252.125 jdk、cloudera-manager
node6 (Agents) 192.168.252.126 jdk、cloudera-manager
node7 (Agents) 192.168.252.127 jdk、cloudera-manager

二、系统环境搭建

1、网络配置(所有节点)

修改 hostname

命令格式

hostnamectl set-hostname <hostname>

依次修改所有节点 node[1-7]

hostnamectl set-hostname node1

重启服务器

reboot

修改映射关系

1.在 node1 的 /etc/hosts 文件下添加如下内容

$ vi /etc/hosts

2.查看修改后的/etc/hosts 文件内容

[root@node7 ~]# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.252.121 node1
192.168.252.122 node2
192.168.252.123 node3
192.168.252.124 node4
192.168.252.125 node5
192.168.252.126 node6
192.168.252.127 node7

2、SSH 免密码登录

1.在集群node1的 /etc/ssh/sshd_config 文件去掉以下选项的注释

vi /etc/ssh/sshd_config 
RSAAuthentication yes      #开启私钥验证
PubkeyAuthentication yes   #开启公钥验证

2.将集群node1 修改后的 /etc/ssh/sshd_config 通过 scp 命令复制发送到集群的每一个节点

for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done

3.生成公钥、私钥

1.在集群的每一个节点节点输入命令 ssh-keygen -t rsa -P ''，生成 key，一律回车

ssh-keygen -t rsa -P ''

4.在集群的node1 节点输入命令

将集群每一个节点的公钥id_rsa.pub放入到自己的认证文件中authorized_keys;

for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done

5.在集群的node1 节点输入命令

将自己的认证文件 authorized_keys 通过 scp 命令复制发送到每一个节点上去: /root/.ssh/authorized_keys`

for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done

6.在集群的每一个节点节点输入命令

接重启ssh服务

sudo systemctl restart sshd.service

7.验证 ssh 无密登录

开一个其他窗口测试下能否免密登陆

例如：在node3

ssh root@node2

exit 退出

3、关闭防火墙

systemctl stop firewalld.service

4、关闭 SELINUX

查看

[root@node1 ~]# getenforce
Enforcing
[root@node1 ~]# /usr/sbin/sestatus -v
SELinux status:

临时关闭

## 设置SELinux 成为permissive模式
## setenforce 1 设置SELinux 成为enforcing模式
setenforce 0

永久关闭

vi /etc/selinux/config

将 SELINUX=enforcing 改为 SELINUX=disabled

设置后需要重启才能生效

PS 我是修改node1 的 /etc/selinux/config 后，把配置文件复制到其他节点

for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done

重启所有节点

reboot

5、安装 JDK

下载Linux环境下的jdk1.8，请去（官网）中下载jdk的安装文件

我在百度云盘分下的链接：http://pan.baidu.com/s/1jIFZF9s 密码：u4n4

上传在 /opt 目录

解压

cd /opt
tar zxvf jdk-8u144-linux-x64.tar.gz
mv jdk1.8.0_144/ /lib/jvm

配置环境变量

vi /etc/profile
#jdk
export JAVA_HOME=/lib/jvm
export JRE_HOME=${JAVA_HOME}/jre   
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib   
export PATH=${JAVA_HOME}/bin:$PATH

使环境变量生效

source /etc/profile

验证

[root@localhost ~]# java -version
java version "1.8.0_144"
Java(TM) SE Runtime Environment (build 1.8.0_144-b01)
Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)

6、设置 NTP

所有节点安装 NTP

yum install ntp

设置同步

ntpdate -d 182.92.12.11

7、安装配置 MySql

主节点 安装 MySql

MySQL依赖于libaio 库

yum search libaio
yum install libaio

下载，解压，重命名

通常解压在 /usr/local/mysql

把mysql-5.7.19-linux-glibc2.12-x86_64 文件夹，重命名成mysql,这样就凑成/usr/local/mysql目录了

cd /opt/
wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz
tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/
mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql

1. 新建用户组和用户

groupadd mysql
useradd mysql -g mysql

2. 创建目录并授权

cd /usr/local/mysql/ 
mkdir data mysql-files
chmod 750 mysql-files
chown -R mysql .
chgrp -R mysql .

3. 初始化MySQL

bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up

4. 注意密码 mysql 临时密码

[注意]root@localhost生成临时密码：;b;s;)/rn6A3,也就是root@localhost:后的字符串

2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D<qha)5gtr<!

5. 授予读写权限

chown -R root .
chown -R mysql data mysql-files

6. 添加到MySQL 启动脚本到系统服务

cp support-files/mysql.server /etc/init.d/mysql.server

7. 给日志目录授予读写权限

mkdir /var/log/mariadb
touch /var/log/mariadb/mariadb.log
chown -R mysql:mysql /var/log/mariadb

8. 修改 /etc/my.cnf

vi /etc/my.cnf

修改 [mysqld]组下的 socket 路径，注释掉/var/lib/mysql/mysql.sock，加一行为tmp/mysql.soc

[mysqld]
datadir=/var/lib/mysql
#socket=/var/lib/mysql/mysql.sock
socket=/tmp/mysql.sock

9.启动MySQL服务

service mysql.server start

或者

/usr/local/mysql/support-files/mysql.server start

10. 登录MySQL

/usr/local/mysql/bin/mysql -uroot -p
Enter password:

如果不知道密码
密码在，安装MySQL步骤 4 ，有提到，怎么找初始化临时密码

11. 设置MySQL密码

登陆成功后，设置MySQL密码

mysql> ALTER USER   'root'@'localhost' identified by 'mima';
mysql> flush privileges;

12. 开启远程登录

mysql> grant all privileges on *.*  to  'root'@'%'  identified by 'mima'  with grant option;
mysql> flush privileges;
mysql> exit;

8、下载依赖包

yum -y install chkconfig
yum -y install bind-utils
yum -y install psmisc
yum -y install libxslt
yum -y install zlib
yum -y install sqlite
yum -y install cyrus-sasl-plain
yum -y install cyrus-sasl-gssapi
yum -y install fuse
yum -y install portmap
yum -y install fuse-libs
yum -y install redhat-lsb

三、cloudera manager Server & Agent 安装

1、安装 CM Server & Agent

在所有节点，创建/opt/cloudera-manager

mkdir /opt/cloudera-manager

把下载好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz安装包上传至 node1 节点/opt/目录

在 node1 节点拷贝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz 到所有 Server、Agent 节点创建 /opt/cloudera-manager 目录：

for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done

所有 Server、Agent 节点节点解压安装 Cloudera Manager Server & Agent

cd /opt
tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

2、创建用户 cloudera-scm（所有节点）

cloudera-scm 用户说明，摘自官网：

Cloudera Manager Server and managed services are configured to use the user account cloudera-scm by default, creating a user with this name is the simplest approach. This created user, is used automatically after installation is complete.

Cloudera管理器服务器和托管服务被配置为在默认情况下使用用户帐户Cloudera-scm，创建具有这个名称的用户是最简单的方法。创建用户，在安装完成后自动使用。

执行：在所有节点创建cloudera-scm用户

useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

3、配置 CM Agent

修改 node1 节点

/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。

cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/
vi config.ini

在node1 操作将 node1 节点修改后的 (复制到所有节点)

for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done

4、配置 CM Server 的数据库

在主节点 node1 初始化CM5的数据库：

下载 mysql 驱动包

cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib
wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar

启动MySQL服务

service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/

./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm

看到如下信息，恭喜您，配置没毛病

[main] DbCommandExecutor              INFO  Successfully connected to database.
All done, your SCM database is configured correctly!

格式:

scm_prepare_database.sh mysql cm -h <hostName> -u<username>  -p<password> --scm-host <hostName>  scm scm scm

对应于：数据库类型  数据库 服务器 用户名 密码  –scm-host  Cloudera_Manager_Server 所在节点……

5、创建 Parcel 目录

Manager 节点创建目录/opt/cloudera/parcel-repo，执行：

将下载好的文件

CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
manifest.json

拷贝到该目录下。

mkdir -p /opt/cloudera/parcel-repo
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo
cd /opt/cloudera/parcel-repo

重命名，CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 否则，系统会重新下载 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel

mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha

Agent 节点创建目录/opt/cloudera/parcels，执行：

mkdir -p /opt/cloudera/parcels
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

6、启动 CM Manager&Agent 服务

注意，mysql 服务启动，防火墙关闭

在 node1 (master) 执行：

Server

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start

在 node2-7 (Agents) 执行：

Agents

/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start

访问 http://Master:7180 若可以访问（用户名、密码：admin），则安装成功。

Manager 启动成功需要等待一段时间，过程中会在数据库中创建对应的表需要耗费一些时间。

四、CDH5 安装

CM Manager && Agent 成功启动后，登录前端页面进行 CDH 安装配置。

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

免费版本的 CM5 已经去除 50 个节点数量的限制。

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

各个 Agent 节点正常启动后，可以在当前管理的主机列表中看到对应的节点。

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

选择要安装的节点，点继续。

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

点击，继续，如果配置本地 Parcel 包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约 10 多分钟吧，取决于内网网速。

（若本地 Parcel 有问题，重新检查步骤三、5 是否配置正确）

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

点击，继续，如果配置本地Parcel包无误，那么下图中的已下载，应该是瞬间就完成了，然后就是耐心等待分配过程就行了，大约10多分钟吧，取决于内网网速。

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

遇到问题

问题一
接下来是服务器检查，可能会遇到以下问题：

Cloudera 建议将 /proc/sys/vm/swappiness 设置为最大值 10。当前设置为 30。

使用 sysctl 命令在运行时更改该设置并编辑 /etc/sysctl.conf，以在重启后保存该设置。

您可以继续进行安装，但 Cloudera Manager 可能会报告您的主机由于交换而运行状况不良。以下主机将受到影响：node[2-7]

echo 0 > /proc/sys/vm/swappiness

问题二
已启用透明大页面压缩，可能会导致重大性能问题。请运行
echo never > /sys/kernel/mm/transparent_hugepage/defrag和 echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此设置，然后将同一命令添加到 /etc/rc.local 等初始化脚本中，以便在系统重启时予以设置。以下主机将受到影响: node[2-7]

echo never > /sys/kernel/mm/transparent_hugepage/defrag
echo never > /sys/kernel/mm/transparent_hugepage/enabled

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

离线部署 CDH 5.12.1 及使用 CDH 部署 Hadoop 大数据平台集群服务

五、脚本

MySql 建库&&删库

1、MySql 建库&&删库

amon

create database amon DEFAULT CHARACTER SET utf8; 
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';

hive

create database hive DEFAULT CHARACTER SET utf8; 
grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';

oozie

create database oozie DEFAULT CHARACTER SET utf8; 
grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';

Contact

上一篇：手把手教你 MongoDB 的安装与详细使用（二）


下一篇：Ubuntu 17.04 x64 安装 Docker CE 初窥 Dockerfile 部署 Nginx