Hadoop安装一套完结

2023-11-20 09:08:58

目录

HADOOP安装Linux单机版

下载Hadoop

Hadoop3.xx下载地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.1.3/

Hadoop安装一套完结

通过FTP上传至Linux

Hadoop安装一套完结

解压缩软件

tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/

配置HADOOP环境变量

创建自定义配置文件

vim /etc/profile.d/my_env.sh

配置HADOOP_HOME环境变量

# HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-3.1.3
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

使配置生效

source /etc/profile

Hadoop安装一套完结

HADOOP本地运行

创建测试文件

mkdir wcinput
cd wcinput
vim word.txt
# 输入如下测试内容
hadoop yarn
hadoop mapreduce
czs
czs
# 保存退出:wq

执行测试文件

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount wcinput/ wcoutput

查看结果

Hadoop安装一套完结

HADOOP安装Linux集群版

编写集群分发脚本

scp安全拷贝

  • scp 可以实现服务器与服务器之间的数据拷贝。
  • 基本语法：scp -r $pdir/$fname $user@$host:$pdir/$fname
  • 例子：scp -r /opt/module/jdk1.8.0_212 root@hadoop103:/opt/module

rscp

  • rsync 主要用于备份和镜像。具有速度快、避免复制相同内容和支持符号链接的优点
  • 用 rsync 做文件的复制要比 scp 的速度快，rsync 只对差异文件做更新。scp 是把所有文件都复制过去
  • 基本语法rsync -av $pdir/$fname $user@$host:$pdir/$fname -a：归档拷贝 -v：显示复制过程
  • 例子：rsync -av hadoop-3.1.3/ root@hadoop103:/opt/module/hadoop-3.1.3/

xscp

通过脚本方式，同步文件

期望脚本在任何路径都能使用（脚本放在声明了全局环境变量的路径）

Hadoop安装一套完结

在/home/root/bin目录下创建xsync文件，脚本代码如下vim xsync

#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
 echo Not Enough Arguement!
 exit;
fi 
#2. 遍历集群所有机器
for host in hadoop102 hadoop103 hadoop104
do
 echo ==================== $host ====================
 #3. 遍历所有目录，挨个发送
 for file in $@
 do
 #4. 判断文件是否存在
 if [ -e $file ]
 then
 #5. 获取父目录
 pdir=$(cd -P $(dirname $file); pwd)
 #6. 获取当前文件的名称
 fname=$(basename $file)
 ssh $host "mkdir -p $pdir"
 rsync -av $pdir/$fname $host:$pdir
 else
 echo $file does not exists!
 fi
 done
done

Hadoop安装一套完结

修改脚本的可执行权限chmod 777 xsync

Hadoop安装一套完结

配置集群中ssh免密登录

普通ssh连接登录

基本语法：ssh 另一台电脑的 IP 地址

Hadoop安装一套完结

生成公钥和私钥

命令：ssh-keygen -t rsa，然后敲（三个回车），就会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）

Hadoop安装一套完结

Hadoop安装一套完结

将公钥拷贝到要免密登录的目标机器上

命令：ssh-copy-id 目标机器IP

Hadoop安装一套完结

Hadoop集群配置

集群部署规划

  • NameNode和SecondaryNameNode不要安装在同一台服务器
  • ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode配置在同一台机器上。

Hadoop安装一套完结

配置文件说明

Hadoop配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认配置值时，才需要修改自定义配置文件，更改相应属性值。

默认配置文件：

Hadoop安装一套完结

自定义配置文件：

  • core-site.xml
  • hdfs-site.xml
  • yarn-site.xml
  • mapred-site.xml
  • 四个配置文件存放在 $HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

Hadoop安装一套完结

Hadoop集群配置核心

核心配置文件：core-site.xml

# 修改自定义配置文件
vim core-site.xml

<!-- 文件内容如下 -->
<configuration>
     <!-- 指定 NameNode 的地址 -->
     <property>
     	<name>fs.defaultFS</name>
    	<value>hdfs://hadoop102:8020</value>
     </property>
     <!-- 指定 hadoop 数据的存储目录 -->
     <property>
     	<name>hadoop.tmp.dir</name>
     	<value>/opt/module/hadoop-3.1.3/data</value>
     </property>
     <!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
     <property>
     	<name>hadoop.http.staticuser.user</name>
     	<value>root</value>
     </property>
</configuration>

HDFS配置文件：hdfs-site.xml

# 修改自定义配置文件
vim hdfs-site.xml

<!-- 文件内容如下 -->
<configuration>
    <!-- nn web 端访问地址-->
    <property>
     	<name>dfs.namenode.http-address</name>
     	<value>hadoop102:9870</value>
     </property>
    <!-- 2nn web 端访问地址-->
     <property>
     	<name>dfs.namenode.secondary.http-address</name>
     	<value>hadoop104:9868</value>
     </property>
</configuration>

YARN配置文件：yarn-site.xml

# 修改自定义配置文件
vim yarn-site.xml

<!-- 文件内容如下 -->
<configuration>
     <!-- 指定 MR 走 shuffle -->
     <property>
     	<name>yarn.nodemanager.aux-services</name>
    	<value>mapreduce_shuffle</value>
     </property>
     <!-- 指定 ResourceManager 的地址-->
     <property>
     	<name>yarn.resourcemanager.hostname</name>
     	<value>hadoop103</value>
     </property>
     <!-- 环境变量的继承 -->
     <property>
     	<name>yarn.nodemanager.env-whitelist</name>

        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
    NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
    RED_HOME</value>
     </property>
</configuration>

MapReduce配置文件：mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
 	<property>
 		<name>mapreduce.framework.name</name>
 		<value>yarn</value>
 	</property>
</configuration>

配置workers

  • 该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

Hadoop安装一套完结

集群同步所有节点配置文件

Hadoop安装一套完结

启动Hadoop集群

初始格式化

  • 如果集群是第一次启动，需要在hadoop102节点格式化NameNode，生成data和logs目录，说明格式化成功

  • 格式化NameNode，会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到已往数据。如果集群在运行过程中报错，需要重新格式化NameNode的话，一定要先停止namenode和datanode进程，并且要删除所有机器的data和logs目录，然后再进行格式化

    格式化命令：hdfs namenode -format

Hadoop安装一套完结

启动HDFS

命令：sbin/start-dfs.sh

Hadoop安装一套完结

如果报如下错误是因为缺少用户定义造成的，所以分别编辑开始和关闭脚本，在顶部空白处添加内容，重新启动即可

$ vim sbin/start-dfs.sh
$ vim sbin/stop-dfs.sh

HDFS_DATANODE_USER=root  
HDFS_DATANODE_SECURE_USER=hdfs  
HDFS_NAMENODE_USER=root  
HDFS_SECONDARYNAMENODE_USER=root

Hadoop安装一套完结

同理，如果yarn.sh启动报错，也添加如下配置：

$ vim sbin/start-yarn.sh
$ vim sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

Hadoop安装一套完结

Hadoop安装一套完结

修改配置之后，删除data和logs目录，重新格式化NameNodehdfs namenode -format

在配置了NameNode的节点，启动HDFS：sbin/start-dfs.sh

在配置了 ResourceManager 的节点，启动YARN：sbin/start-yarn.sh

Web端查看HDFS的NameNode，浏览器访问http://hadoop102:9870/

Hadoop安装一套完结

WEB端查看YARN的ResourceManager ，浏览器访问http://hadoop103:8088/

Hadoop安装一套完结

集群基本功能测试

上传文件到集群

命令：hadoop fs -put 文件地址 集群目录地址

hadoop fs -put wcinout/word.txt /input

Hadoop安装一套完结

执行wordcount程序

命令：hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount 源目录 目标目录

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

如果报错如下，则需配置如下到mapred-site.xml，Hadoop的家目录，重启集群即可

<property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3</value>
</property>
<property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>
<property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/opt/module/hadoop-3.1.3/</value>
</property>

Hadoop安装一套完结

Hadoop安装一套完结

Hadoop安装一套完结

配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。

配置mapred-site.xml

# 修改自定义配置文件
vim mapred-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 历史服务器端地址 -->
    <property>
     <name>mapreduce.jobhistory.address</name>
     <value>hadoop102:10020</value>
    </property>
    <!-- 历史服务器 web 端地址 -->
    <property>
     <name>mapreduce.jobhistory.webapp.address</name>
     <value>hadoop102:19888</value>
    </property>
</configuration>

Hadoop安装一套完结

集群分发配置

xsync mapred-site.xml

Hadoop安装一套完结

在NameNode服务器上启动历史服务器

mapred --daemon start historyserver

查看历史服务器是否启动

jps

Hadoop安装一套完结

浏览器访问http://hadoop102:19888/jobhistory

Hadoop安装一套完结

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和 HistoryServer。

Hadoop安装一套完结

配置yarn-site.xml

在NameNode服务器上配置如下

# 修改自定义配置文件
vim yarn-site.xml

<!-- 添加文件内容如下 -->
<configuration>
    <!-- 开启日志聚集功能 -->
    <property>
     <name>yarn.log-aggregation-enable</name>
     <value>true</value>
    </property>
    <!-- 设置日志聚集服务器地址 -->
    <property> 
     <name>yarn.log.server.url</name> 
     <value>http://hadoop102:19888/jobhistory/logs</value>
    </property>
    <!-- 设置日志保留时间为 7 天 -->
    <property>
     <name>yarn.log-aggregation.retain-seconds</name>
     <value>604800</value>
    </property>
</configuration>

Hadoop安装一套完结

集群分发配置

xsync yarn-site.xml

Hadoop安装一套完结

重启 NodeManager 、ResourceManager 和 HistoryServer

# 关闭
sbin/stop-yarn.sh 
mapred --daemon stop historyserver
# 启动
sbin/start-yarn.sh 
mapred --daemon start historyserver

删除并重新执行wordcount程序查看日志

历史服务器地址http://hadoop102:19888/jobhistory

Hadoop安装一套完结

Hadoop安装一套完结

Hadoop安装一套完结

集群启动/停止方式总结

各个模块分开启动/停止（配置 ssh 是前提）常用

整体启动/停止 HDFS

start-dfs.sh/stop-dfs.sh

整体启动/停止 YARN

start-yarn.sh/stop-yarn.sh

各个服务组件逐一启动/停止

分别启动/停止 HDFS 组件

hdfs --daemon start/stop namenode/datanode/secondarynamenode

启动/停止 YARN

yarn --daemon start/stop resourcemanager/nodemanager

编写Hadoop集群常用脚本

Hadoop 集群启停脚本（包含 HDFS，Yarn，Historyserver）：myhadoop.sh

cd /root/bin
vim myhadoop.sh

脚本代码如下

#!/bin/bash
if [ $# -lt 1 ]
then
 echo "No Args Input..."
 exit ;
fi
case $1 in
"start")
 echo " =================== 启动 hadoop 集群 ==================="
 echo " --------------- 启动 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/start-dfs.sh"
 echo " --------------- 启动 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/start-yarn.sh"
 echo " --------------- 启动 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon start historyserver";;
"stop")
 echo " =================== 关闭 hadoop 集群 ==================="
 echo " --------------- 关闭 historyserver ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/bin/mapred --daemon stop historyserver"
 echo " --------------- 关闭 yarn ---------------"
 ssh hadoop103 "/opt/module/hadoop-3.1.3/sbin/stop-yarn.sh"
 echo " --------------- 关闭 hdfs ---------------"
 ssh hadoop102 "/opt/module/hadoop-3.1.3/sbin/stop-dfs.sh";;
*)
 echo "Input Args Error...";;
esac

赋予脚本执行权限

chmod +x myhadoop.sh

Hadoop安装一套完结

集群分发，保证自定义脚本在集群机器上都可以使用

xsync myhadoop.sh

Hadoop安装一套完结

Hadoop安装一套完结

编写查看集群服务器Java进程脚本

cd /root/bin
vim jpsall.sh

脚本代码如下

#!/bin/bash
for host in hadoop102 hadoop103 hadoop104
do
 echo =============== $host ===============
 ssh $host jps 
done

赋予脚本执行权限

chmod +x jpsall.sh

Hadoop安装一套完结

集群分发，保证自定义脚本在集群机器上都可以使用

xsync jpsall.sh

Hadoop安装一套完结

上一篇：Hadoop学习笔记: MapReduce(2)


下一篇：Spark和Hadoop的对比