Hadoop 群起集群并进行基本测试

文章目录


一、群起集群

1、配置workers

hadoop102中编辑文件

vim /opt/module/hadoop-3.1.3/etc/hadoop/workers

在该文件中写入

hadoop102
hadoop103
hadoop104

需要注意的是:该文件每行后不能有空格,最后不能多加一个空行,可以说是相当严格了!

最后使用xsync分发脚本

xsync /opt/module/hadoop-3.1.3/etc/

2、启动集群

1)初始化

如果是第一次启动,需要在hadoop102节点格式化NameNode,使用下面的命令

hdfs namenode -format

在使用格式化命令之后,进入hadoop安装目录,可以看到多出了datalogs文件:
Hadoop 群起集群并进行基本测试

2)启动HDFS

hadoop102启动HDFS

[wzq@hadoop102 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

如下图所示,已经成功在hadoop102启动了namenode,在hadoop103启动了secondary namenode
Hadoop 群起集群并进行基本测试

3)启动YARN

然后在hadoop103上启动YARN

[wzq@hadoop103 hadoop-3.1.3]$ pwd
/opt/module/hadoop-3.1.3
[wzq@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

如下图所示,启动成功!
Hadoop 群起集群并进行基本测试

4)在web端查看HDFS的NameNode http://hadoop102:9870

配置好之后,可以打开浏览器输入:

http://hadoop102:9870

这个连接可以查看HDFS的NameNode:
Hadoop 群起集群并进行基本测试
也可以查看系统中有什么文件:
Hadoop 群起集群并进行基本测试

5)在web端查看YARN的ResourceManagerhttp://hadoop103:8088

在浏览器输入:

http://hadoop103:8088

可以查看某一个任务在执行时的状态
Hadoop 群起集群并进行基本测试

二、基本测试

1、上传文件到集群

创建文件夹:

hadoop fs -mkdir /input

Hadoop 群起集群并进行基本测试
上传小文件到刚刚创建的文件夹input中:

hadoop fs -put /home/wzq/demo/word.txt /input

Hadoop 群起集群并进行基本测试

2、文件的存储位置

[wzq@hadoop102 subdir0]$ pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1436128598-
192.168.10.102-1610603650062/current/finalized/subdir0/subdir0

3、下载

使用-get可以下载服务器上的文件

hadoop fs -get /input ./

执行效果:
Hadoop 群起集群并进行基本测试

4、执行wordcount程序

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

执行之后,终端显示界面:
Hadoop 群起集群并进行基本测试
yarn显示界面中可以看到状态是成功的:
Hadoop 群起集群并进行基本测试
观察文件:
Hadoop 群起集群并进行基本测试
发现多了两个文件一个output和一个tmp,最终结果存放在了output中,打开看一下:
Hadoop 群起集群并进行基本测试
打开之后,查看文件发现wordcount运行成功!
Hadoop 群起集群并进行基本测试

上一篇:【数字信号处理】相关函数 ( 相关函数性质 | 相关函数最大值 | 自相关函数最大值 | 互相关函数最大值 | 能量有限信号的相关函数在 m 趋近无穷时为 0 )


下一篇:搭建学习大数据,需要的虚拟机Linux集群环境