CDH 6 安装笔记

2024-02-29 08:27:04

环境准备

三个Linux节点，一个管理节点，两个受管节点
每个节点配置好JDK1.8环境
CM版本6.3.1
CDH版本6.2.0
设置主机名：cdh001,cdh002,cdh003
每个节点配置host文件以下内容

xxx.xxx.xxx.xxx cdh001

xxx.xxx.xxx.xxx cdh002

xxx.xxx.xxx.xxx cdh003

安装过程

配置yum本地源

wget https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/cloudera-manager.repo

mv cloudera-manager.repo /etc/yum.repos.d/

rpm --import https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPM-GPG-KEY-cloudera

安装Cloudera Manager

管理节点执行以下安装命令：

yum install -y cloudera-manager-daemons

yum install -y cloudera-manager-agent

yum install -y cloudera-manager-server

daemons若安装成功，如图所示：

其他节点执行以下安装命令：

yum install -y cloudera-manager-daemons

yum install -y cloudera-manager-agent

注：yum支持断点续传，如果断了重新执行即可。

配置数据库:

CREATE DATABASE cmf DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE cmf DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hive DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;

配置MySQL的驱动包

mkdir /usr/share/java
cp 你的路径/mysql-connector-java-5.1.48.jar  /usr/share/java
cd /usr/share/java
mv mysql-connector-java-5.1.48.jar mysql-connector-java.jar

在线或离线下载CDH包，放置到下面的路径

/opt/cloudera/parcel-repo/

修改Server和Agent的配置

vi  /etc/cloudera-scm-server/db.properties

查看Server启动日志

tail -200f /var/log/cloudera-scm-server/cloudera-scm-server.log

查看server状态

systemctl status cloudera-scm-server

查看agent状态

systemctl restart cloudera-scm-agent

重启server和agent的命令如下：

systemctl restart cloudera-scm-server
systemctl restart cloudera-scm-agent

管理集群

在server和agent启动后，登录如下地址进入web管理界面,默认用户名、密码：admin/admin

http://主节点ip:7180/cmf

首次登录，按向导step by step，进行配置，如图所示：

按向导配置完成，就ok了。

附录

报错：Couldn't open file /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7

在执行

yum install -y cloudera-manager-agent时，若出现错误提示Couldn't open file /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7，执行以下命令后再次尝试就能通过了。

cd /etc/pki/rpm-gpg
wget https://archive.fedoraproject.org/pub/epel/RPM-GPG-KEY-EPEL-7

报错：org.apache.hadoop.hdfs.server.namenode.SafeModeException: Cannot create directory

报这个错，需要把安全模式关掉，执行以下命令：

hdfs dfsadmin -safemode leave

如果执行上述命令报错：

safemode: Access denied for user root. Superuser privilege is required。

则需要修改/etc/passwd 中的/sbin/nologin -->/bin/bash

在管理端无法添加节点的问题

检查你的hosts文件，确认主机被正确地配置。

码农公寓