大数据集群安装手册之准备工作
1.概述
大数据集群部署工具集，是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。工具支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、 HBase、Zookeeper、Sqoop和HCatalog等。本工具集支持HDFS、MapReduce、Hive、Pig、HBase、Zookeeper、Sqoop和HCatalog等的集中管理。它能够安装安全的（基于Kerberos）Hadoop集群，以此实现了对Hadoop 安全的支持，提供了基于角色的用户认证、授权和审计功能，并为用户管理集成了LDAP和Active Directory。
2.准备工作
2.1.最小系统需求
2.1.1.软件需求
yum and rpm (RHEL/CentOS)
zypper and php_curl (SLES)
apt (Debian/Ubuntu)
scp, curl, unzip, tar, wget, and gcc*
OpenSSL (v1.01, build 16 or later)
Python (with python-devel)*
2.1.2.内存需求
集群各主机至少安装2GB 内存，并且有1GB可使用。安装大数据集群及集群监控服务，依据集群规模的大小，集群个节点需要满足的内存与可用磁盘如下表所示：
集群节点数 可用内存 可用磁盘空间
1 1024 MB 10 GB
10 1024 MB 20 GB
50 2048 MB 50 GB
100 4096 MB 100 GB
300 4096 MB 100 GB
500 8096 MB 200 GB
1000 12288 MB 200 GB
2000 16384 MB 500 GB
2.1.3.最大打开文件数需求
我们推荐的最大文件打开数为10000或更多，可以用以下命令检查当前系统的最大文件打开数：
ulimit -Sn
ulimit -Hn
如果命令的输出值小于10000，则可以执行以下命令设置此参数
ulimit -n 10000
2.3.收集信息
在安装部署大数据集群之前，需要收集准备以下的信息：
集群每个节点的有效机器名(FQDN)，可以使用以下命令查看当前节点的机器名
hostname -f
需要为每个节点安装部署的组件列表
各服务的数据存储基础目录
NameNode 数据
DataNodes 数据
Secondary NameNode 数据
Oozie 数据
YARN 数据
ZooKeeper 数据
多类型日志文件、 pid文件、数据库（db）文件
2.4.准备环境
2.4.1.配置SSH免密登录
2.4.2.启动NTP服务
集群中每个节点的时钟必须保持同步，所以需要启用NTP服务自动同步集群中各节点主机的时钟。
可以执行以下命令安装NTP服务，并使NTP服务在系统启动时自动启动。
yum install -y ntp
systemctl enable ntpd
2.4.3.检查DNS服务
系统中的所有主机都需要配置正向和反向DNS域名服务。如果不能配置DNS域名解析服务，则应编辑群集中每个主机上的/etc/hosts文件，使其包含每个主机的IP地址和完整有效的域名(FQDN)。
2.4.3.1.编辑host文件
使用文本编辑器打开每个集群主机上的hosts文件，例如：
vi /etc/hosts
为集群中的每个主机添加一行配置，此行配置需要与主机名和对应的IP保持一致，例如：
1.2.3.4 <fully.qualified.domain.name>
2.4.3.2.编辑网络配置文件
使用文本编辑器打开每个集群主机上的hosts文件，例如：
vi /etc/sysconfig/network
修改HOSTNAME属性，设置其值为有效的主机域名
NETWORKING=yes
HOSTNAME=<fully.qualified.domain.name>
2.4.4.配置防火墙
在集群的安装部署以及运行过程中，某些端口必须开放可访问，最简单的方法就是暂时关闭防火墙，操作如下：
systemctl disable firewalld
service firewalld stop
2.4.5.禁用SELinux
在集群安装过程中，必须禁用SELinux。
临时禁用SELinux的方法为，在每台主机上执行命令：
setenforce 0
永久禁用SELinux的方法为，打开/etc/selinux/config文件，设置参数属性：
SELINUX=disabled
2.4.6.下载和设置数据库连接器
像Hive、Ranger和Oozie这些的组件需要连接一个可操作的数据库。在安装过程中，可以选择使用现有数据库，或者让工具安装一个新的实例（Hive）。为了能够连接到已选择的数据库，必须在安装组件之前直接从数据库供应商下载必要的数据库驱动程序和连接器。为了更好地准备安装或升级，请在设置环境时设置数据库连接器。
2.5.制作本地源
2.5.1.准备安装包
组件 OS 安装包
Ambari：ambari-2.6.1.5-centos7.tar.gz
HDP:HDP-2.6.4.0-centos7-rpm.tar.gz
HDP-UTILS:HDP-UTILS-1.1.0.22-centos7.tar.gz
HDP-GPL:HDP-GPL-2.6.4.0-centos7-rpm.tar.gz
2.5.2. 安装HTTP 服务器
安装Apache HTTP服务器
yum install httpd
启动服务
systemctl start httpd
2.5.3.安装本地源制作相关工具
启动服务
yum install yum-utils createrepo
2.5.4.解压安装包
解压后的文件结构如下：
[root@ambari-nm html]# pwd
/var/www/html
[root@ambari-nm html]# tree -L 3
.
├── ambari
│ └── centos7
│ └── 2.6.1.0-143
└── hdp
├── HDP
│ └── centos7
├── HDP-GPL
│ └── centos7
└── HDP-UTILS-1.1.0.22
├── hdp-utils.repo
├── openblas
├── repodata
├── RPM-GPG-KEY
└── snappy
13 directories, 1 file
2.5.5.制作本地源的repo文件
ambari.repo文件
VERSION_NUMBER=2.6.1.0-143
[ambari-2.6.1.0]
name=ambari Version - ambari-2.6.1.0
baseurl=http://<fully.qualified.domain.name>/ambari/centos7/2.6.1.0-143/
gpgcheck=0
gpgkey=http://<fully.qualified.domain.name>/ambari/centos7/2.6.1.0-143/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
hdp.repo文件
VERSION_NUMBER=2.6.4.0-91
[HDP-2.6.4.0]
name=HDP Version - HDP-2.6.4.0
baseurl=http://<fully.qualified.domain.name>/hdp/HDP/centos7/2.6.4.0-91/
gpgcheck=0
gpgkey=http://<fully.qualified.domain.name>/hdp/HDP/centos7/2.6.4.0-91/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://<fully.qualified.domain.name>/hdp/HDP-UTILS-1.1.0.22/
gpgcheck=0
gpgkey=http://<fully.qualified.domain.name>/hdp/HDP-UTILS-1.1.0.22/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1
2.6.创建数据库
2.6.1.Ambari库
mysql> create database ambari character set utf8;
Query OK, 1 row affected (0.16 sec)
mysql> CREATE USER 'ambari'@'%'IDENTIFIED BY 'gis';
Query OK, 0 rows affected (0.28 sec)
mysql> GRANT ALL PRIVILEGES ON . TO 'ambari'@'%';
Query OK, 0 rows affected (0.00 sec)
mysql> FLUSH PRIVILEGES;
Query OK, 0 rows affected (0.10 sec)
mysql>
相同方法，创建Hive库, Oozie库。
大数据集群Ambari+HDP的准备工作已完成。可以正式开始安装HDP(ambari)集群环境了