HADOOP2.2.0安装配置指南

2022-09-07 09:19:58

一、 集群环境搭建

这里我们搭建一个由三台机器组成的集群：

Ip地址	用户名/密码	主机名	集群中角色	操作系统版本
192.168.0.1	hadoop/hadoop	Hadoop-master	nn/snn/rm	Ubuntu1132bit
192.168.0.2	hadoop/hadoop	Hadoop-slave1	dn/nm	Ubuntu1132bit
192.168.0.3	hadoop/hadoop	Hadoop-slave2	dn/nm	Ubuntu1132bit

注：集群角色分（namenode nn, secondary namenode sn, datanode dn, resourcemanager rm, nodemanager nm）

1. 安装ubuntu

略。

2. 创建用户

1、创建hadoop用户

sudo addgroup hadoop

2. 创建hadoop用户

sudo adduser -ingroup hadoop hadoop

3. 给hadoop用户添加权限

1) 打开/etc/sudoers文件

sudo gedit /etc/sudoers

2) 在root ALL=(ALL:ALL) ALL下添加hadoop ALL=(ALL:ALL) ALL，给hadoop用户赋予root用户同样的权限

hadoop ALL=(ALL:ALL) ALL

3. 安装配置JDK（建议每台机器的JAVA_HOME路径信息相同）

1) 下载安装JDK

a) 从 http://www.oracle.com/technetwork/java/javase/downloads/index.html 下载jdk

对于32位的系统可以下载以下两个Linux x86版本（uname -a 查看系统版本）。

b) 选择要安装java的位置，如/usr/lib目录下

c) 将文件jdk-7u40-linux-i586.tar.gz移动到/usr/lib

d) 解压：tar -zxvf jdk-7u40-linux-i586.tar.gz

2) 配置JAVA环境变量:

a) 打开/etc/profile（vim /etc/profile），在最后面添加如下内容：

JAVA_HOME=/usr/java/jdk1.7.0_40（这里的版本号1.7.40要根据具体下载情况修改）CLASSPATH=.:$JAVA_HOME/lib.tools.jar

PATH=$JAVA_HOME/bin:$PATH

export JAVA_HOME CLASSPATH PATH

b) 加载修改后的环境变量,在命令行执行

source /etc/profile

c) 查看java环境变量是否配置成功，在命令行执行

java -version

查看不出错说明成功。

【注意】每台机器执行相同操作，最后将java安装在相同路径下（不是必须的，但这样会使后面的配置方便很多）

4. 修改机器名

打开/etc/hostname文件：

sudo gedit /etc/hostname

将/etc/hostname文件中的机器名改为你想取的机器名。重启系统后才会生效。

5. 关闭每台机器的防火墙

ufw disable

重启后生效。

6. 安装ssh服务

使用命令ssh即可查看是否安装了ssh。如果提示找不到命令则没有安装。执行以下命令安装：

sudo apt-get install ssh openssh-server

7. 建立ssh无密码登录本机

安装完成ssh后会在当前用户主目录（/home/hadoop）下产生一个隐藏文件夹.ssh（ls -a 可以查看隐藏文件）。如果没有，自己新建即可（mkdir .ssh）。

1) 具体配置步骤如下：

a) 进入.ssh文件夹

b) ssh-keygen -t rsa 之后一路回车（产生秘钥）

c) 把id_rsa.pub 追加到授权的 key 里面去（cat id_rsa.pub >> authorized_keys）

d) 重启 SSH 服务命令使其生效 :service ssh restart此时已经可以进行ssh localhost的无密码登陆

【注意】：以上操作在每台机器上面都要进行。

2) 设置远程无密码登陆

这里只有Hadoop-master是master，如果有多个namenode，或者rm的话则需要打通所有master于其他剩余节点的免密码登陆。

a) 进入master的.ssh目录执行：

scp authorized_keys hadoop@hadoop-slave1:~/.ssh/ authorized_keys_from_master

b) 进入hadoop-slave1的.ssh目录,执行：

cat authorized_keys_from_ master >> authorized_keys

至此，可以在hadoop-master上面ssh hadoop@hadoop-slave1进行无密码登陆了。hadoop-slave2的操作相同。

c) 修改/etc/hosts 文件，增加三台机器的ip和hostname的映射关系

192.168.0.1 hadoop-master

192.168.0.2 hadoop-slave1

192.168.0.3 hadoop-slave2

此处的ip地址应该为三台机器的真实IP

二、 Hadoop 2.2安装过程

Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译。下载地址:http://apache.claz.org/hadoop/common/hadoop-2.2.0/。如下图所示，下载红色标记部分即可。如果要自行编译则下载src.tar.gz.

由于hadoop集群中每个机器上面的配置基本相同，所以我们先在namenode上面进行配置部署，然后再复制到其他节点。所以这里的安装过程相当于在每台机器上面都要执行。但需要注意的是集群中64位系统和32位系统的问题。

1. 解压文件

将第一部分中下载的hadoop-2.2.tar.gz解压到/home/hadoop路径下（或者将在64位机器上编译的结果存放在此路径下）。注意：每台机器的安装路径要相同！！

2. hadoop配置过程

配置之前，需要在hadoop-master本地文件系统创建以下文件夹：

/home/hadoop/dfs/name

/home/hadoop/dfs/data

/home/hadoop/temp

这里要涉及到的配置文件有7个：

~/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

~/hadoop-2.2.0/etc/hadoop/yarn-env.sh

~/hadoop-2.2.0/etc/hadoop/slaves

~/hadoop-2.2.0/etc/hadoop/core-site.xml

~/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

~/hadoop-2.2.0/etc/hadoop/mapred-site.xml

~/hadoop-2.2.0/etc/hadoop/yarn-site.xml

以上个别文件默认不存在的，可以复制相应的template文件获得。

1) 配置文件1：hadoop-env.sh

修改JAVA_HOME值

export JAVA_HOME=/usr/java/jdk1.7.0_40

2) 配置文件2：yarn-env.sh

修改JAVA_HOME值

export JAVA_HOME=/usr/java/jdk1.7.0_40

3) 配置文件3：slaves （这个文件里面保存所有slave节点）

写入以下内容：

hadoop-slave1

hadoop-slave2

4) 配置文件4：core-site.xml

<name>fs.defaultFS</name>

<value>hdfs://hadoop-master:9000</value>

</property>

<name>io.file.buffer.size</name>

</property>

<name>hadoop.tmp.dir</name>

<value>file:/home/hduser/tmp</value>

<description>Abase for other temporary directories.</description>

</property>

<name>hadoop.proxyuser.hduser.hosts</name>

</property>

<name>hadoop.proxyuser.hduser.groups</name>

</property>

</configuration>

5) 配置文件5：hdfs-site.xml

<name>dfs.namenode.secondary.http-address</name>

<value>hadoop-master:9001</value>

</property>

<name>dfs.namenode.name.dir</name>

<value>file:/home/hadoop/dfs/name</value>

</property>

<name>dfs.datanode.data.dir</name>

<value>file:/home/hadoop/dfs/data</value>

</property>

<name>dfs.replication</name>

</property>

<name>dfs.webhdfs.enabled</name>

</property>

</configuration>

6) 配置文件6：mapred-site.xml

<name>mapreduce.framework.name</name>

</property>

<name>mapreduce.jobhistory.address</name>

<value>hadoop-master:10020</value>

</property>

<name>mapreduce.jobhistory.webapp.address</name>

<value>hadoop-master:19888</value>

</property>

</configuration>

7) 配置文件7：yarn-site.xml

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<name>yarn.resourcemanager.address</name>

<value>hadoop-master:8032</value>

</property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>hadoop-master:8030</value>

</property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>hadoop-master:8031</value>

</property>

<name>yarn.resourcemanager.admin.address</name>

<value>hadoop-master:8033</value>

</property>

<name>yarn.resourcemanager.webapp.address</name>

<value>hadoop-master:8088</value>

</property>

</configuration>

8) 复制到其他节点

这里可以写一个shell脚本进行操作（有大量节点时比较方便）,cp2slave.sh。将在hadoop-master上的hadoop文件夹中的所有内容复制至其余节点。在hadoop集群中节点之间是对等的，区别在于配置文件中指明了主从关系。

scp –r /home/hduser/hadoop-2.2.0 hadoop@hadoop-slave1:~/

scp –r /home/hduser/hadoop-2.2.0 hadoop@hadoop-slave2:~/

9) 启动验证

a) 启动hdfs（hadoop文件系统）

进入安装目录：

cd ~/hadoop-2.2.0/

格式化namenode：.

/bin/hdfs namenode –format

启动hdfs:

./sbin/start-dfs.sh

通过jps查看hadoop进程，此时在hadoop-master上面运行的进程有：

namenode

secondarynamenode

hadoop-slave1，hadoop-slave2上面运行的进程有：

datanode

b) 启动yarn:

./sbin/start-yarn.sh

通过jps查看hadoop进程，此时在hadoop-master上面运行的进程有：

Namenode

Secondarynamenode

resourcemanager

hadoop-slave1，hadoop-slave2上面运行的进程有：

datanode

nodemanaget

c) 查看集群信息

查看集群状态：

./bin/hdfs dfsadmin –report

查看文件块组成：

./bin/hdfsfsck / -files -blocks

查看HDFS:

http:// 192.168.0.1:50070

查看RM:

http:// 192.168.0.1:8088

码农公寓

相关文章