CDH搭建大数据集群(5.10.0)

目录

一、CDH介绍

二、为什么选择CDH?

三、CDH的版本选择  

四、安装准备

1.节点准备

2.节点规划

3.下载parcels文件

4.tarball下载

5.准备以下内容:

五、系统初始化

1.关闭防火墙(3个节点)

2.配置主机名(3个节点)

3.修改hosts文件(3个节点)

4.配置免密登录(3个节点)

5.安装JDK(3个节点)

6.检查Python版本(3个节点)

7.检查服务器之间的时间是否同步(3个节点)

六、安装mysql(hadoop01节点)

1、安装并解压

2、改变mysql的用户组

3、将环境变量配置文件拷贝到mysqladmin用户的home目录下

4、创建mysql的配置文件

5、修改my.cnf文件的属性和权限

6、配置mysql服务和自启动  

7、启动mysql并监听进程

8、修改mysql的密码

9、更改.bash_profile文件

七.安装http和启动http服务

1.安装http服务

2.创建parcels文件

3.配置本地yum源(3个节点)

八.安装并启动CM服务

1、执行以下命令

2、进入到mysql中,创建元数据

3、进入数据库后,执行以下命令:

4、启动CM服务

九.CDH配置

1、登录CDH配置界面

2、选择免费

3、配置CDH集群

4、点击搜索 

5、配置parcels文件

6.等待安装完成后,点击继续

7.等待安装分配完成后,点击继续

8.继续等待检查主机

9.这里出现了警告,下面解决警告

10.配置好以上命令以后,点击重新运行

11.至此验证完成,点击完成按钮

12.集群设置

13.角色分配

14.选择数据库

15.审核更改

16.首次运行命令

17.出现以下界面,说明cdh搭建大数据平台成功!

18.进入主页



  纠结了好久,还是花钱了3个4核8G的阿里云主机,且行且珍惜,想必手动搭建过Hadoop集群的完全分布式、HBase的完全分布式的你(当然包括我,哈哈),一定会抱怨如此多的配置,而此时CDH正是解决我们烦恼的时候。

  下面安装过程比较长,所以一定要有耐心。 

一、CDH介绍

  以下是官网给的介绍:个人感觉就是对hadoop环境的封装

CDH搭建大数据集群(5.10.0)

 

二、为什么选择CDH?

  Cloudera 常年坚持季度发型update版本,年度发行Release版本,更新速度比Aapche官方快,而且在实际使用过程中CDH表现无比稳定。

  CDH支持yum/apt包,tar包,rpm包,cloudera manager四种方式安装。可以获取最新特性和最新Bug修复,安装维护方便,节省运维时间。另外集群搭建更加方便。

  • 版本划分清晰
  • 版本更新速度快
  • 支持Kerberos安全认证
  • 文档清晰
  • 支持多种安装方式(Cloudera Manager方式)

三、CDH的版本选择  

  CDH4.x--->4.8.6

  CDH5.x :优选5.4.8  5.8.0  5.12.0 不建议选择5.11.0,有坑这里我选用5.10.0

四、安装准备

1.节点准备

  由于是个人测试环境,所以购买了3台阿里云的主机,主要配置如下:

  CDH搭建大数据集群(5.10.0)

2.节点规划

  hadoop001:mysql cm-server cm-agent Namenode DataNode ResourceManager NodeManager  ZK

  hadoop002:cm-agent Datanode SecondaryNameNode NameNode  ZK

  hadoop003:cm-agent DataNode NodeManager ZK

3.下载parcels文件

    地址:http://archive.cloudera.com/cdh5/parcels/

    选择5.10.0:http://archive.cloudera.com/cdh5/parcels/5.10.0/

    下载以下三个内容:

      ①http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel

      ②http://archive.cloudera.com/cdh5/parcels/5.10.0/CDH-5.10.0-1.cdh5.10.0.p0.41-el6.parcel.sha1

      ③http://archive.cloudera.com/cdh5/parcels/5.10.0/manifest.json

4.tarball下载

  地址:http://archive.cloudera.com/cm5/repo-as-tarball

  选择5.10.0:http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/

  下载:http://archive.cloudera.com/cm5/repo-as-tarball/5.10.0/cm5.10.0-centos6.tar.gz

5.准备以下内容

CDH搭建大数据集群(5.10.0)

 

五、系统初始化

1.关闭防火墙(3个节点)

  临时关闭:service iptables stop  验证:service iptables status

  永久关闭:chkconfig iptables off  验证:chkconfig --list | grep iptable

  CDH搭建大数据集群(5.10.0)

2.配置主机名(3个节点)

  执行命令:vim /etc/sysconfig/network

  修改完成以后重启:reboot

  CDH搭建大数据集群(5.10.0)

3.修改hosts文件(3个节点)

  执行命令:vim /etc/hosts

  添加以下内容(3个节点的内容一致),这里是我使用的是内网ip

  CDH搭建大数据集群(5.10.0)

4.配置免密登录(3个节点)

  执行命令:ssh-keygen

  执行命令: ssh-copy-id root@hadoop01、 ssh-copy-id root@hadoop02、 ssh-copy-id root@hadoop03

CDH搭建大数据集群(5.10.0)

5.安装JDK(3个节点)

  我这里本地已经下载好文件:通过rz命令本地上传(yum install  lrzsz)

  注意:JDK的安装目录一定是/usr/java,否则CDH启动失败!!!!!!(鄙人走过的坑)

  解压命令:

  [root@hadoop03 java]# tar -xvf jdk-8u181-linux-x64.tar.gz

  配置环境变量:

  [root@ java]# vim /etc/profile

  配置以下内容:     

#jdk的环境变量配置
export JAVA_HOME=/usr/java/jdk1.8.0_181  //这里的路径一定是/usr/java,否则CDH启动失败!!!!!!
export PATH=.:

上一篇:Impala 3.4 在网易的最新实践


下一篇:数据湖解决方案关键一环,IceBerg会不会脱颖而出?