用Ambari2管理Hadoop_第二部分：部署

2024-04-05 17:10:18

就是这个神奇的网站

Apache Ambari是一种基于Web的工具，支持Apache Hadoop集群的供应、管理和监控。Ambari目前已支持大多数Hadoop组件，包括HDFS、MapReduce、Hive、Pig、Hbase、Zookeper、Sqoop和Hcatalog等。

Ambari主要给你带来以下内容：

通过一步一步的安装向导简化了集群供应。
预先配置好关键的运维指标（metrics），可以直接查看Hadoop Core（HDFS和MapReduce）及相关项目（如HBase、Hive和HCatalog）是否健康。
支持作业与任务执行的可视化与分析，能够更好地查看依赖和性能。
通过一个完整的RESTful API把监控信息暴露出来，集成了现有的运维工具。
用户接口非常直观，用户可以轻松有效地查看信息并控制集群。

访问Ambari网址，看到登录接口：

用默认的用户名和密码admin/admin登录。

创建一个集群，点击Launch Install Wizard

起一个集群的名称，例如Education

如图，选择HDP的版本，我用的是Centos6，把其他勾选去掉，只保留redhat6，并根据第一部分的内容，输入本地的yum源地址：
HDP Base URL：

http://ambari.hdp.novalocal/hdp/centos6/HDP-2.2.4.2

HDP-UTILS Base URL：

http://ambari.hdp.novalocal/hdp/centos6/HDP-UTILS-1.1.0.20

node1：Zookeeper Server
node2：Zookeeper Server
node3：Zookeeper Server
node4：NameNode、History Server 、ResourceManager、Hive Metastore、HBase Metastore、Oozie Server、DRPC Server、Kafka Broker、Knox Gateway
node5：SNameNode、、App Timeline Server、HiveServer2、WebHCat Server、HBase Metastore 、Oozie Server、 Nimbus、Spark History Server、Kafka Broker、Knox Gateway
node6：Falcon Server、Storm UI Server、Metrics Collector、client
node7：Datanode,NodeManager,Supervisor,RegionServer,Flume
node8：Datanode,NodeManager,Supervisor,RegionServer,Flume
node9：Datanode,NodeManager,Supervisor,RegionServer,Flume

目标主机输入主机名，一行一台主机，可以使用正则表达式，例如我输入node[1-9].hdp.novalocal

Ambari会自动安装Ambari agent,并检查主机的环境是否满足要求。

如果你根据第一部分的内容配置好所有主机，环境检查都会顺利通过。

选择需要部署的服务，因为是测试环境，把所有服务都选上。

Spark需要依赖HDP2.2.2，不犹如向前进Proceed

根据服务规划来分配主服务器。

根据服务规划来分配从服务器和客户端。

红色提示的是需要进行配置的服务。

配置Hive的数据库。我用的是Mysql独立的数据库主机。按照以下部署进行：

安装数据库：数据库服务器作为独立一台主机，要先安装好mysql数据库
创建数据库：创建hive用的数据库和账号密码
在Ambari服务器配置驱动例如我的命令是ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.35-bin.jar,JDBC官方驱动包可以在这里下载 http://dev.mysql.com/downloads/connector/j/
在页面填写数据库信息：在网页填写数据库服务器地址和数据库名称账号密码等信息