CDH5 集群安装教程

一、虚拟机的安装和网络配置。

1、虚拟机安装。

2、安装CentOS-6.5 64位版本。

桥接模式;

Master:

内存:3G;

硬盘容量40G;

4核;

Slave:

内存2G;

硬盘容量30G;

2核;

3、网络配置(master,slave)

1)进入root账号

su - root

输入密码:

 vi /etc/sysconfig/network

2)关闭防火墙

    vi /etc/sysconfig/selinux

     #SELinux=disable

     Service iptables stop

     Chkconfig iptables off

     Chkconfig iptables --list

3)网络设置

Vi  /etc/sysconfig/network-scripts/ifcfg-eth0

 DEVICE="eth0"

 BOOTPROTO="static"

 IPADDR=192.168.2.115 或者 192.168.2.116

 NM_CONTROLLED="yes"

 ONBOOT="yes"

 TYPE="Ethernet"

 DNS1=8.8.8.8

 DNS2=8.8.4.4

 GATEWAY=192.168.2.1

注释:IPADDR,在你的本地电脑上,看好你的ip地址是什么

4)设置/etc/hosts

Vi /etc/hosts

 127.0.0.1      localhost

 192.168.2.115  master

 192.168.2.116  slave1

根据你设置的节点数,自己配。

二、CDH安装

1、下载文件:

1)cm5.1.0

http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.1.0/RPMS/x86_64/

2)Installer.bin

http://archive.cloudera.com/cm5/installer/5.1.0/

3、集群安装

1)Master节点上传:

cloudera-manager-installer.bin

cloudera-manager.repo

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

2)安装

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外,将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

Chmod +x cloudera-manager-installer.bin

在root用户下,执行bin文件  ./cloudera-manager-installer.bin

开始了Clouder manager集群安装。

2)slave等节点安装

cloudera-manager-daemons-5.1.0-1.cm510.p0.75.el6.x86_64.rpm

jdk-6u31-linux-amd64.rpm

oracle-j2sdk1.7-1.7.0+update55-1.x86_64.rpm

另外,将cloudera-manager.repo上传到/etc/yum.repos.d目录下。

执行yum clean all  清空yum缓存

yum list|grep cloudera 验证repo文件是否起效

3)离线安装parcel

上传parcel文件到

/opt/cloudera/parcel-repo

修改sha文件,只保留哈希码。

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel

CDH-5.1.0-1.cdh5.1.0.p0.53-el6.parcel.sha

Manifest.json

在安装界面中:

这里没检索出5.1.0版本,如何解决?

手工修改url为  http://archive.cloudera.com/cdh5/parcels/5.1.0/

上一篇:基于Adobe Flash平台的3D页游技术剖析


下一篇:基于Unity 5的次世代卡通渲染技术 -- Unite 2017 米哈游总监贺甲分享实录