目录
3、将环境变量配置文件拷贝到mysqladmin用户的home目录下
纠结了好久,还是花钱了3个4核8G的阿里云主机,且行且珍惜,想必手动搭建过Hadoop集群的完全分布式、HBase的完全分布式的你(当然包括我,哈哈),一定会抱怨如此多的配置,而此时CDH正是解决我们烦恼的时候。
下面安装过程比较长,所以一定要有耐心。
一、CDH介绍
以下是官网给的介绍:个人感觉就是对hadoop环境的封装
二、为什么选择CDH?
Cloudera 常年坚持季度发型update版本,年度发行Release版本,更新速度比Aapche官方快,而且在实际使用过程中CDH表现无比稳定。
CDH支持yum/apt包,tar包,rpm包,cloudera manager四种方式安装。可以获取最新特性和最新Bug修复,安装维护方便,节省运维时间。另外集群搭建更加方便。
• 版本划分清晰
• 版本更新速度快
• 支持Kerberos安全认证
• 文档清晰
• 支持多种安装方式(Cloudera Manager方式)
三、CDH的版本选择
CDH4.x--->4.8.6
CDH5.x :优选5.4.8 5.8.0 5.12.0 不建议选择5.11.0,有坑(这里我选用5.10.0)
四、安装准备
1.节点准备
由于是个人测试环境,所以购买了3台阿里云的主机,主要配置如下:
2.节点规划
hadoop001:mysql cm-server cm-agent Namenode DataNode ResourceManager NodeManager ZK
hadoop002:cm-agent Datanode SecondaryNameNode NameNode ZK
hadoop003:cm-agent DataNode NodeManager ZK
3.下载parcels文件
地址:http://archive.cloudera.com/cdh5/parcels/
选择5.10.0:http://archive.cloudera.com/cdh5/parcels/5.10.0/
下载以下三个内容:
①http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel
②http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1
③http://archive.cloudera.com/cdh5/parcels/5.10.0/manifest.json
4.tarball下载
地址:http://archive.cloudera.com/cm5/repo-as-tarball
选择5.10.0:http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/
下载:http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/cm5.10.0-centos6.tar.gz
5.准备以下内容:
五、系统初始化
1.关闭防火墙(3个节点)
临时关闭:service iptables stop 验证:service iptables status
永久关闭:chkconfig iptables off 验证:chkconfig --list | grep iptable
2.配置主机名(3个节点)
执行命令:vim /etc/sysconfig/network
修改完成以后重启:reboot
3.修改hosts文件(3个节点)
执行命令:vim /etc/hosts
添加以下内容(3个节点的内容一致),这里是我使用的是内网ip
4.配置免密登录(3个节点)
执行命令:ssh-keygen
执行命令: ssh-copy-id root@hadoop01、 ssh-copy-id root@hadoop02、 ssh-copy-id root@hadoop03
5.安装JDK(3个节点)
我这里本地已经下载好文件:通过rz命令本地上传(yum install lrzsz)
注意:JDK的安装目录一定是/usr/java,否则CDH启动失败!!!!!!(鄙人走过的坑)
解压命令:
[root@hadoop03 java]# tar -xvf jdk-8u181-linux-x64.tar.gz
配置环境变量:
[root@ java]# vim /etc/profile
配置以下内容:
#jdk的环境变量配置
export JAVA_HOME=/usr/java/jdk1.8.0_181 //这里的路径一定是/usr/java,否则CDH启动失败!!!!!!
export PATH=.: