Centos7.4环境下Hadoop下载与安装

1.下载地址

https://dist.apache.org/repos/dist/release/hadoop/common/

我们这里用的版本是:hadoop-2.7.7.tar.gz

 

2.然后我们在Centos环境中的opt目录创建install文件夹(用来存放压缩包)和soft文件夹(用来存放解压之后的文件)目录:

cd /opt

mkdir install soft

 

3.下载rz(用来向Linux Centos传送文件)和sz命令:

yum install -y lrzsz

接着进入install目录:cd /opt/install

然后输入rz命令 选中我们刚才下载的hadoop-2.7.7.tar.gz 传输完毕后我们在instal目录输入ll命令就可以看到hadoop-2.7.7.tar.gz

 

4.解压hadoop-2.7.7.tar.gz

输入命令:tar -zxvf  hadoop-2.7.7.tar.gz

解压成功后我们会在install目录看到一个hadoop-2.7.7文件,这就是我们需要的东西,接下来移动一下位置,把它移到 opt目录的soft文件夹中:mv  hadoop-2.7.7 /opt/soft 

进入soft目录: cd /opt/soft     

移到完成后我在这给hadoop-2.7.7改了个名字:mv  hadoop-2.7.7   hadoop2.7

 

5.配置环境变量

进入etc目录的profile文件:vi /etc/profile

 

Centos7.4环境下Hadoop下载与安装

 在尾行添加如下命令:

HADOOP_HOME=/opt/soft/hadoop2.7

PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

图中多了jdk的环境变量,因为hadoop是由java编写的,配置jdk环境是必不可少的,在这里就不演示jdk的安装了

 

6.修改hadoop配置文件

①修改hadoop-env.sh 

进入hadoop2.7目录:  cd /opt/soft/hadoop2.7

编辑配置文件hadoop-env.sh:  vi etc/hadoop/hadoop-env.sh 

修改25行(这里修改的是jdk的位置):  export JAVA_HOME=/opt/soft/jdk1.8
修改33行(这里修改的是hadoop的位置):  export HADOOP_CONF_DIR=/opt/soft/hadoop2.7/etc/hadoop 

Centos7.4环境下Hadoop下载与安装

 

②修改core-site.xml配置文件

vi etc/hadoop/core-site.xml

Centos7.4环境下Hadoop下载与安装

 在尾末添加:

<configuration>


<!-- 指定HDFS中NameNode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://hadop51:9000</value>
</property>

<!-- 指定hadoop运行时产生文件的存储目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/opt/soft/hadoop2.7/tmp</value>
</property>

</configuration>

注意这里的hadop51是主机名,可以在 vi /etc/hostname中修改

 

③修改hdfs-site.xml配置文件

vim etc/hadoop/hdfs-site.xml

Centos7.4环境下Hadoop下载与安装

 在尾末添加:

<configuration>

<!-- 指定HDFS副本的数量 -->
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

</configuration>

 

④修改mapred-site.xml配置文件

这个配置文件一般没有,但是有个模板,名字是:mapred-site.xml.templat

Centos7.4环境下Hadoop下载与安装

我们把模板复制一遍:

进入etc目录下单hadoop文件夹:  cd etc/hadoop

复制:  scp  mapred-site.xml.template  mapred-site.xml

修改配置文件:vi  mapred-site.xml

Centos7.4环境下Hadoop下载与安装

 在尾末添加:

<!-- 指定mr运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

 

⑤修改yarn-site.xml配置文件

vi  yarn-site.xml

Centos7.4环境下Hadoop下载与安装

 在尾末添加

<!-- 指定YARN的ResourceManager的地址 -->
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadop51</value>
</property>

<!-- reducer获取数据的方式 -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

注意这里的hadop51是主机名,可以在 vi /etc/hostname中修改(和之前的一致,修改过可以省略)

 

⑥修改slaves文件

vi slaves

Centos7.4环境下Hadoop下载与安装

 修改为自己的主机名

至此配置文件修改完毕,注意这些配置文件都在 /opt/soft/hadoop2.7/etc/hadoop目录下

 

7.格式化文件系统:

hadoop  namenode -format

 

8.配置免密通信:

如果不配置免密通信每次启动Hadoop都要输入很多次密码,很麻烦。

输入命令:  ssh-keygen

之后一直回车 可以看到类似图形:

Centos7.4环境下Hadoop下载与安装

 在输入命令:  ssh-copy-id hadop51

注意这里的hadop51是主机名

 

⑨启动和关闭Hadoop

启动:  start-all.sh

关闭:  stop-all.sh

 

⑩web端查看是否启动成功

http://192.168.31.54:50070 #查看NameNode的状态
http://192.168.31.54:50075 #查看DataNode的状态
http://192.168.31.54:50090 #查看SecondaryNameNode的状态

上一篇:完全分布式Hadoop的搭建


下一篇:1.14 在本地搭建一个论坛及虚拟机搭建web站点