Hadoop的伪分布式搭建

我们在搭建伪分布式Hadoop环境,需要将一系列的配置文件配置好。
一、配置文件
1. 配置文件hadoop-env.sh
export JAVA_HOME=/opt/modules/jdk1.7.0_67
2. 配置core-site.xml

dfs.defaultFS
hdfs://hostname:8020

hadoop.tmp.dir
/opt/modules/hadoop-2.5.0/data/tmp

  1. 配置hdfs-site.xml

    dfs.replication
    3

  2. 配置yarn-site.xml

    yarn.nodemanager.aux-services
    mapreduce_shuffle

  3. 配置mapred-site.xml

    mapreduce.framework.name
    yarn

二、启动HDFS
1,格式化NameNode
bin/hdfs namenode -format
2,启动NameNode
bin/hadoop.daemon.sh start namenode
3,启动DataNode
bin/hadoop.daemon.sh start datanode
4,HDFS的WEB监控页面:
http://hostname:50070
5,启动SecondaryNameNode
bin/hadoop.daemon.sh start secondarynamenode
6,SecondaryNameNode的WEB监控页面:
http://hostname:50090

三、日志文件
启动每个守护进程会产生两个log文件,文件路径为$HADOOP_HOME/logs目录下,文件的格式为【.log】和【.out】
.log:log4j记录,记录大部分应用程序的日志信息
.out:记录标准输出和标准错误日志,少量记录
日志的命名规则:【框架名+用户名+进程名+主机名+日志格式】

四、启动YARN
1,启动ResourceManager
bin/yarn-daemon.sh start resourcemanager
2,启动NodeManager
bin/yarn-daemon.sh start nodemanager
3,YARN的WEB监控界面:
http://hostname:8088 resourcemanager
http”//hostname:8042 nodemanager

五、历史服务器
1,启动历史服务器
bin/mr-jobhistory-daemon.sh start historyserver
2,历史服务器监控界面
http://hostname:19888

上一篇:C++的ch1&ch2的整理


下一篇:用js获取页面颜色值怎么比较?