Hadoop环境搭建（伪分布式搭建）

2021-12-16 00:16:08

一，Hadoop版本下载

建议下载：Hadoop2.5.0 （虽然是老版本，但是在企业级别中运用非常稳定，新版本虽然添加了些小功能但是版本稳定性有带与考核）

1.下载地址：

hadoop.apache.org官网下载。如果官网找不到就到下面链接中下载。

http://archive.apache.org/dist/hadoop/common/

二，Hadoop 的三种模式

1.　本地模式　: 1台机器，不使用HDFS文件系统

2.　伪分布式模式　：1台机器。一般用户管理员测试使用

3.　分布式模式　：多台机器。真实的生产环境中使用

三，Hadoop 伪分布式模式搭建准备工作 (完全分布式通用)

1.　Centos 6.4版本（最好时6系列。7系列变动有点大，个人还为尝试配置）下载方法：官网下载破解，或者百度上找百度云盘下载。

2.   VMwareWorkStation 上部署 Centos6.4虚拟机。　　设置基础环境三要素： [1]IP(静态地质，NAT网络)，[2]主机名，[3]映射>（包括本地）
3.   网络设置：           　设置DNS域名解析，Ping通外网
4.   创建一个普通用户:     useradd 用户名命令创建。 passwd 用户名
5.   设置sudo权限             vi sudo
6.   设置远程连接工具：    secureCRT,FileZilla,Notepad++
7.　禁用安全系统和防火墙：selinux,iptables,chkconfig iptables
8.　卸载系统自带的Open JDK并配置Oracle JDK: rpm -qa,-e,vi /etc/profile
9 . 创建Hadoop目录     （ /opt目录下创建）

sudo mkdir software    //存放相关软件

sudo mkdir modules     //存放相关控键

sudo mkdir datas       //存放相关数据

sudo mkdir tools       //存放相关工具

10. 上述目录创建完毕之后，ls -l 看一下用户跟组。然后chown -R 普通用户名：普通用户名 * /opt下创建的4个目录的用户及用户组变成普通用户。例如： sudo chown -R xiaoyueyue:xiaoyueyue *

11. 通过远程工具上传下面hadoop及javaJDK安装包并解压。（远程工具：FileZilla，Notepad++，rz都可以）

hadoop-2.5.0.tar.gz

jdk-7u67-linux-x64.tar.gz

解压：   (tar -zxvf hadoop-2.5.0.tar.gz   -C /opt/modules    tar -zxvf jdk-7u67-linux-x64.tar.gz  -C /opt/modules )

四，Hadoop 伪分布式模式搭建

1. hosts文件配置

　　sudo vi /etc/profile

　　添加主机的ip地址及主机名

#Hadoop

　　192.168.XXX.XXX xiaoyueyue.localhost.com

2. 环境变量的配置（JAVAJDK）

　　sudo vi /etc/profile 最下方添加下列路径配置环境变量。注意一定要添加自己javaJDK所在的路径

#JAVA_HOME

export JAVA_HOME=/opt/modules/jdk1.8.0_144

export PATH=$PATH:$JAVA_HOME/bin

配置/opt/modules/hadoop-2.5.0/etc/hadoop/hadoop-env.sh 文件指定JAVA_HOME路径

# The java implementation to use.

export JAVA_HOME=/opt/modules/jdk1.8.0_144

配置/opt/modules/hadoop-2.5.0/etc/hadoop/mapred-env.sh 文件指定JAVA_HOME路径

export JAVA_HOME=/opt/modules/jdk1.8.0_144

配置/opt/modules/hadoop-2.5.0/etc/hadoop/yarn-env.sh 文件指定JAVA_HOME路径

#some Java parameters

export JAVA_HOME=/opt/modules/jdk1.7.0_67

3. Hadoop配置文件的配置

（1）登陆Hadoop官网

hadoop.apache.org --> Documentation -> Release 2.5.2 (按照自己的需求选择版本) --> Single Node Setup (伪分布式配置点击这里) --> 找到Configuration 查看内容

<1> 编辑core-site.xml文件添加下列属性

【默认】

　etc/hadoop/core-site.xml:

<property>

   　 <name>fs.defaultFS</name>

      <value>hdfs://localhost:9000</value>         //9000是老的端口现在不用了

</property>

***【自定义】***

 <property>

        <name>fs.defaultFS</name>

        <value>hdfs://xiaoyueyue.localhost.com:8020</value>         //value处添加自己的hostname并添加8020端口。指定HDFS文件系统在那台机器。如果是分布式的话，可以指定其中1台机器为HDFS文件系统。其他机器不需要配置这个属性

 </property>

<2> 配置临时目录 (默认：Hadoop运行时会生成临时目录默认放在了/tmp下。要是不改变地址那么机器重启后这些数据会丢失。因此最好建议配置另外一个目录)
hadoop.tmp.dir       /tmp/hadoop-${user.name}

 <property>

        <name>hadoop.tmp.dir</name>

        <value>/opt/modules/hadoop-2.5.0/data/tmp</value>             //我在/opt/modules/hadoop-2.5.0/下mkdir 创建了/data/tmp然后配置临时目录保存在这里

    </property>

<3> 编辑hdfs.xml文件添加下列属性

　　etc/hadoop/hdfs-site.xml:

【默认】

<property>

      <name>dfs.replication</name>          //配置hdfs副本数。默认为3。但是目前配置的是伪分布式架构，只有一台机器因此这里的value值是1.如果是3台机器可以不配这个属性。但是如果超过3台就需要指定它的副本数。

      <value>1</value>

</property>

<4> 编辑slaves配置文件（指定datanode同时也代表nodemanager。这个文件就代表从节点的意思）

xiaoyueyue.localhost.com                        //因为只有一台机器所以配置文件只添加了自身的hostname。如果是多台机器需要把所有机器的hostname都添加进来。

<5> 格式化namenode （对于元数据进行初始化，否则无法读取元数据）

cd /opt/modules/Hadoop-2.5.0

$ bin/hdfs         // 列出所有hdfs命令

$ bin/hdfs namenode -format                   //bin/hdfs 查看所有命令namenode -format为格式化namenode

<7> 启动namenod及datanode服务

 cd /opt/modules/Hadoop-2.5.0

   $ sbin/hadoop-daemon.sh start namenode            //sbin/脚本名 start or stop 启动停止命令 启动的服务名称

   $ sbin/hadoop-daemon.sh start datanode

   $ jps                                             //查看java进程状态

   $ hostname得到系统名                               //打开web网页输入系统名后面跟50070端口号进行交互。  例如：xiaoyueyue.localhost.com:50070

<8> 通过web界面查看一下是否能够登陆

登陆方式： hostname + 端口号（我自身的为：tonyliu.localhost.com:50070）

图1：点击Utilities --》 Browse the system

Hadoop环境搭建（伪分布式搭建）

图2：下图为我已经创建好的目录，第一次登陆进来的话只有根目录其他什么都没有。

Hadoop环境搭建（伪分布式搭建）

<9> HDFS 下常用命令

下面为HDFS中dfs 所有命令。我们列举几个平时最常用的命令，其他命令在日常用到或者需要了解的情况下再看。不懂问度娘。

（1） -mkdir 创建文件夹例子：bin/hdfs dfs -mkdir -p 目录

（2） -put 上传文件　例子：bin/hdfs dfs -put /要上传的文件路径 /要传到HDFS上的哪个具体路径（建议创建input目录，对应生成output目录便于管理 /user/liupeng/wordcount/input）

（3） -get 　下载文件　例子：bin/hdfs dfs -get /要下载的HDFS上的文件路径 /下载到的目标地址

（4）-text 查看文件内容例子：bin/hdfs dfs -text /要查看的文件地址及文件名

（5）其他：基本根Linux下的命令行用法相同。命令前面别忘加 - 再接命令。

Usage: hadoop fs [generic options]

    [-appendToFile <localsrc> ... <dst>]

    [-cat [-ignoreCrc] <src> ...]

    [-checksum <src> ...]

    [-chgrp [-R] GROUP PATH...]

    [-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...]

    [-chown [-R] [OWNER][:[GROUP]] PATH...]

    [-copyFromLocal [-f] [-p] <localsrc> ... <dst>]

    [-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

    [-count [-q] <path> ...]

    [-cp [-f] [-p | -p[topax]] <src> ... <dst>]

    [-createSnapshot <snapshotDir> [<snapshotName>]]

    [-deleteSnapshot <snapshotDir> <snapshotName>]

    [-df [-h] [<path> ...]]

    [-du [-s] [-h] <path> ...]

    [-expunge]

    [-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]

    [-getfacl [-R] <path>]

    [-getfattr [-R] {-n name | -d} [-e en] <path>]

    [-getmerge [-nl] <src> <localdst>]

    [-help [cmd ...]]

    [-ls [-d] [-h] [-R] [<path> ...]]

    [-mkdir [-p] <path> ...]

    [-moveFromLocal <localsrc> ... <dst>]

    [-moveToLocal <src> <localdst>]

    [-mv <src> ... <dst>]

    [-put [-f] [-p] <localsrc> ... <dst>]

    [-renameSnapshot <snapshotDir> <oldName> <newName>]

    [-rm [-f] [-r|-R] [-skipTrash] <src> ...]

    [-rmdir [--ignore-fail-on-non-empty] <dir> ...]

    [-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]

    [-setfattr {-n name [-v value] | -x name} <path>]

    [-setrep [-R] [-w] <rep> <path> ...]

    [-stat [format] <path> ...]

    [-tail [-f] <file>]

    [-test -[defsz] <path>]

    [-text [-ignoreCrc] <src> ...]

    [-touchz <path> ...]

    [-usage [cmd ...]]

hdfs 命令

<10> Yarn上运行wordcount程序
刚才我们将本地的wordcount文件上传到了HDFS文件系统上了，但是在Hadoop中应用都是跑在Yarn上。而Yarn上是通过web来获取文件的。而文件要想跑在Yarn上都需要提前打jar包。

我们的wordcount程序在安装Hadoop时本地就有一个默认的jar包（share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar），我们可以直接引用来用。如果其他的应用例如编码后的jar包需要先打成jar包之后再进行应用的执行。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/liupeng/wordcount/input /user/liupeng/wordcount/output

注意：wordcount运行完后如果还想再运行一遍的话，必须更改output名称。例如 output1不允许重名，不然会报错。

　　　另外output目录不能提前创建。是自动生成的。如果提前创建output目录，那么程序运行时会失败。

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/liupeng/wordcount/input /user/liupeng/wordcount/output1

（2） Yarn的配置（伪分布式）

<1> 编辑mapred-site.xml配置文件（添加下列属性）

　　etc/hadoop/mapred-site.xml:

　　<property>

        <name>mapreduce.framework.name</name>

        <value>yarn</value>

    </property>

    <property>

        <name>mapreduce.jobhistory.address</name>　　　　　　　　　　　　　　//配置历史服务器

        <value>xiaoyueyue.localhost.com:10020</value>　　　　　　　　　　　 //指定历史服务器的hostname以及端口（10020）

    </property>

    <property>　　　　

        <name>mapreduce.jobhistory.webapp.address</name>　　　　　　　　　//配置历史服务器web页面属性

        <value>xiaoyueyue.localhost.com:19888</value>　　　　　　　　　　 //指定历史服务器的hostname以及web访问的端口（19888）

    </property>

<2> 编辑yarn配置文件

etc/hadoop/yarn-site.xml

    <property>

        <name>yarn.nodemanager.aux-services</name>

        <value>mapreduce_shuffle</value> 　　　　　　　　　　　　//Yarn上可以跑很多不同类型的框架。这里是代表指定mapreduce框架

    </property>

    <property>

        <name>yarn.resourcemanager.hostname</name>　　　　　　//指定那一台机器为resourceManager主节点

        <value>tonyliu.localhost.com</value>　　　　　　　　　　

    </property>

<3> Yarn服务的启动

sbin/yarn-daemon.sh start resourcemanager                   //resourceManager服务的启动

sbin/yarn-daemon.sh start nodemanager　　　　　　　　　　　　　//nodeManager服务的启动

<4> 通过web界面访问Yarn

登陆方式： hostname + 8088端口

<5>重新运行wordcount程序（运行在yarn上）

使MapReduce程序运行在Yarn上处理的是HDFS文件系统上的数据而不是本地的数据

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.jar wordcount /user/liupeng/wordcount/input /user/liupeng/wordcount/output2

到Yarn 的 web页面上查看MapReduce任务。如果出现下图。状态并且为SUCCEEDED 说明任务运行成功。

<6> 配置历史服务器

上图中我们可以看到有一个History 选项，当我们点击进去的时候会发现报错。那是因为我们没有配置History服务器属性。下面是历史服务器的配置信息

（1）历史服务器服务的启动

当我们 ls sbin目录查看时会发现有一个 mr-jobhistory-daemon.sh 的脚本。这个脚本就是用来启动historyserver服务的。

（2）启动我们的历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

（3）查看历史服务器进程是否启动

如果出现下面标注的JobHistoryServer这个服务进程就说明我们的历史服务器进程启动成功了。

（4）检查web页面历史服务器的启动状态

刷新页面会发现历史记录出现代表服务启动正常。

<7> Yarn的日志聚集功能配置

（1）查看Map,Reduces任务

通过历史服务器的配置，我们可以清楚的看到跑在Yarn上的mapReduce任务。如下图中案例显示1个map任务及1个reduces任务。

（2）具体查看Map,Reduces任务信息

我们还可以通过鼠标具体点入Maps,Reduces个数中具体查看每个Maps及Reduces的状态信息。其实下图中的Attempt就相当于我们的容器，来分配管理了我们的Map任务。当中还有一个logs选项。

（3）查看logs日志信息

当我们点入logs选项后，会发现出现报错信息。Aggregation 代表聚集的意思。说Aggregation is not enabled说明我们的聚集功能没有配置所产生的报错。那么下面来一起配置一下聚集功能。

（所谓的聚集就是代表把生成的日志信息，上传到我们的HDFS系统上。这就叫做聚集）

（4） Aggregation聚集功能的配置

在/opt/modules/hadoop-2.5.0/etc/hadoop目录下找到我们的 yarn-site.xml 配置信息。然后添加下面属性

<property>

     <name>yarn.log-aggregation-enable</name>　　　　　　//配置aggregation聚集功能的启用

     <value>true</value>　　　　　　　　　　　　　　　　　　//默认为-1代表没有启用，我们把value变成true代表启用该功能

</property>

<property>

     <name>yarn.log-aggregation.retain-seconds</name>　　//这条配置代表日志信息在我们的Yarn上所保存的时间

     <value>259200</value>　　　　　　　　　　　　　　　　　　//是按照秒为单位计算的。我们把需要保存的天数换算成秒然后计入即可

</property>

（5）Aggregation聚集功能生效

要想配置完聚集功能生效必须重启一下我们的服务。

$sbin/yarn-daemon.sh  stop resourcemanager

$sbin/yarn-daemon.sh  stop nodemanager

$sbin/mr-jobhistory-daemon.sh stop historyserver

jps查看如果停掉代表成功再重新启动服务

$sbin/yarn-daemon.sh  start resourcemanager

$sbin/yarn-daemon.sh  start nodemanager

$sbin/mr-jobhistory-daemon.sh start historyserver

（6） Web页面查看history logs信息

点击logs选项出现下列信息后代表我们的聚集功能完全配置成功了。

码农公寓

相关文章