Java+大数据开发——Hadoop集群环境搭建(一)

2022-11-09 23:05:27

1集群简介

HADOOP集群具体来说包含两个集群：HDFS集群和YARN集群，两者逻辑上分离，但物理上常在一起

HDFS集群：

负责海量数据的存储，集群中的角色主要有 NameNode / DataNode

YARN集群：

负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager

本集群搭建案例，以3节点为例进行搭建，角色分配如下：

hdp-node-    NameNode  SecondaryNameNode ResourceManager

hdp-node-    DataNode    NodeManager

hdp-node-    DataNode    NodeManager

2服务器准备

本案例使用虚拟机服务器来搭建HADOOP集群，所用软件及版本：

▨ Vmware 12.0

▨ Centos 7.0 64bit

3网络环境准备

▨ 采用NAT方式联网

▨ 网关地址：192.168.33.1

▨ 3个服务器节点IP地址：192.168.33.101、192.168.33.102、192.168.33.103

▨ 子网掩码：255.255.255.0

4服务器系统设置

▨ 添加HADOOP用户

▨ 为HADOOP用户分配sudoer权限

▨ 同步时间

▨ 设置主机名

◈ hdp-node-01

◈ hdp-node-02

◈ hdp-node-03

▨ 配置内网域名映射：

◈ 192.168.33.101 hdp-node-01

◈ 192.168.33.102 hdp-node-02

◈ 192.168.33.103 hdp-node-03

▨ 配置ssh免密登陆

▨ 配置防火墙

5JDK环境安装

▨ 上传jdk安装包

▨ 规划安装目录 /home/hadoop/apps/jdk_1.7.65

▨ 解压安装包

▨ 配置环境变量 /etc/profile

6HADOOP安装部署

▨ 上传HADOOP安装包

▨ 规划安装目录 /home/hadoop/apps/hadoop-2.6.5

▨ 解压安装包 tar –zxvf hadoop-2.6.5 –C apps/

▨ 修改配置文件 $HADOOP_HOME/etc/hadoop/

最简化配置如下：

vi hadoop-env.sh

# The java implementation to use.

export JAVA_HOME=/home/hadoop/apps/jdk1..0_45

vi core-site.xml

<configuration>

<property>

<name>fs.defaultFS</name>

<value>hdfs://hdp-node-01:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/home/HADOOP/apps/hadoop-2.6.5/tmp</value>

</property>

</configuration>

vi hdfs-site.xml

<configuration>

<property>

<name>dfs.replication</name>

<value>1</value>

</property>

<property>

<name>dfs.secondary.http.address</name>

<value>hdp-node-01:50090</value>

</property>

</configuration>

vi mapred-site.xml

<configuration>

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

</configuration>

vi yarn-site.xml

<configuration>

<property>

<name>yarn.resourcemanager.hostname</name>

<value>hadoop01</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

</configuration>

vi salves

hdp-node-02

hdp-node-03

7启动集群

初始化HDFS

bin/hadoop  namenode  -format

启动HDFS

sbin/start-dfs.sh

启动YARN

sbin/start-yarn.sh

查看集群状态

jps

bin/hdfs dfsadmin -report

8测试——运行一个mapreduce程序

在HADOOP安装目录下，运行一个示例mr程序

cd $HADOOP_HOME/share/hadoop/mapreduce/

hadoop jar mapredcue-example-2.6.5.jar wordcount /wordcount/input  /wordcount/output

9HDFS使用

1、查看集群状态

命令： hdfs dfsadmin –report

可以看出，集群共有3个datanode可用

也可打开web控制台查看HDFS集群信息，在浏览器打开http://hdp-node-01:50070/

2、上传文件到HDFS

▣ 查看HDFS中的目录信息

命令： hadoop fs –ls /

▣ 上传文件

命令： hadoop fs -put ./ scala-2.10.6.tgz to /

作者：杰瑞教育
出处：http://www.cnblogs.com/jerehedu/
版权声明：本文版权归烟台杰瑞教育科技有限公司和博客园共有，欢迎转载，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利。

技术咨询：

码农公寓