linux环境下的伪分布式环境搭建

本文的配置环境是VMware10+centos2.5。

在学习大数据过程中,首先是要搭建环境,通过实验,在这里简短粘贴书写关于自己搭建大数据伪分布式环境的经验。

如果感觉有问题,欢迎咨询评论。

一:伪分布式准备工作

1.规划目录

  linux环境下的伪分布式环境搭建

2.修改目录所有者和所属组

  linux环境下的伪分布式环境搭建

3.删除原有的jdk

  linux环境下的伪分布式环境搭建

4.上传需要的jdk包

 linux环境下的伪分布式环境搭建

5.增加jdk 的执行权限

  linux环境下的伪分布式环境搭建

6.解压jdk

  linux环境下的伪分布式环境搭建

7.修改profile的JAVA_HOME,PATH

  linux环境下的伪分布式环境搭建

8.切换至root用户,使文件生效

  linux环境下的伪分布式环境搭建

9.检验jdk是否成功

  linux环境下的伪分布式环境搭建

二:搭建为分布式

1.解压hadoop

  linux环境下的伪分布式环境搭建

2.进入hadoop主目录

  linux环境下的伪分布式环境搭建

3.获取JAVA_HOME的目录

  linux环境下的伪分布式环境搭建

4.修改hadoop-env.sh的JAVA_HOME

  linux环境下的伪分布式环境搭建

5.修改mapred-env.h的JAVA_HOME

  linux环境下的伪分布式环境搭建

6.修改yarn-env.sh的JAVA_HOME

  linux环境下的伪分布式环境搭建

7.配置core-site.xml

  linux环境下的伪分布式环境搭建

8.修改slave的配置

  linux环境下的伪分布式环境搭建

9.修改hdfs.site.xml

  linux环境下的伪分布式环境搭建

10.检验hdfs

  linux环境下的伪分布式环境搭建

11.格式化hdfs

  linux环境下的伪分布式环境搭建

  linux环境下的伪分布式环境搭建

12.启动namenode 以及datanode进程

  linux环境下的伪分布式环境搭建

13.查看浏览器,方便管理HDFS

  linux环境下的伪分布式环境搭建

14.在HDFS上新建文件夹

  linux环境下的伪分布式环境搭建

   linux环境下的伪分布式环境搭建

15.在HDFS上上传文件

  linux环境下的伪分布式环境搭建

   linux环境下的伪分布式环境搭建

16.在HDFS上读取wenjian

  linux环境下的伪分布式环境搭建

17.在HDFS上下载文件到本地

  linux环境下的伪分布式环境搭建

18.配置yarn-site.xml

  linux环境下的伪分布式环境搭建

19.启动resourcemanager与nodemanager

  linux环境下的伪分布式环境搭建

20.在浏览器上运行yarn,方便管理

  linux环境下的伪分布式环境搭建

21.配置MapReduce的配置,MapReduce.site.xml

  表示mapreduce将要运行在yarn上

  linux环境下的伪分布式环境搭建

22.新建将要测试的文件

  linux环境下的伪分布式环境搭建

  linux环境下的伪分布式环境搭建

23.在HDFS上新建文件目录

  linux环境下的伪分布式环境搭建

  linux环境下的伪分布式环境搭建

24.上传本地的wc.input文件进刚刚新建的目录

   linux环境下的伪分布式环境搭建

  linux环境下的伪分布式环境搭建

25.在yarn上运行计算

  linux环境下的伪分布式环境搭建

   linux环境下的伪分布式环境搭建

26.查看结果

  linux环境下的伪分布式环境搭建

  

  linux环境下的伪分布式环境搭建

三:细节  

1.配置历史服务器,修改mapred-xite.xml

  linux环境下的伪分布式环境搭建

2.启动服务器

  linux环境下的伪分布式环境搭建

3.建议历史服务器在yarn启动之后紧接着启动,这样就可以看到二.26的结果

4.日志聚集功能,修改yarn.site.xml

  linux环境下的伪分布式环境搭建

5.重新启动resourcemanager,nodemanager,jobhistory

  linux环境下的伪分布式环境搭建

6.再次在yarn上运行程序

  linux环境下的伪分布式环境搭建

7.这时就可以点击logs,在yarn的管理页面上观看日志文件

  linux环境下的伪分布式环境搭建

8.logs点击的结果

  linux环境下的伪分布式环境搭建

9.HDFS用户权限的修改,点击tmp时,出现的问题效果

  linux环境下的伪分布式环境搭建

10.修改hdfs.xite.xml,使hdfs不在检查用户权限

  linux环境下的伪分布式环境搭建

11.重新启动HDFS

  linux环境下的伪分布式环境搭建

12.再次点击tmp,即可进入

  linux环境下的伪分布式环境搭建

13.修改静态用户名,之前的状态

  linux环境下的伪分布式环境搭建

14.修改core.site.xml

  linux环境下的伪分布式环境搭建

15.重启HDFS和YARN

  linux环境下的伪分布式环境搭建

16.重启任务

  linux环境下的伪分布式环境搭建

17.这时静态用户将会变成设置的用户

  linux环境下的伪分布式环境搭建

  

 

上一篇:Ubuntu 14.04 (32位)上搭建Hadoop 2.5.1单机和伪分布式环境


下一篇:Hadoop 2.7 伪分布式环境搭建