【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天总算是把hadoop2.4的整个开发环境弄好了,包括 windows7上eclipse连接hadoop,eclipse的配置和測试弄得烦躁的一逗比了~

先上一张成功的图片,hadoop的伪分布式安装配置,仅仅要依照步骤来,有点基础的 基本没什么问题的。。eclipse的配置 弄了非常长一段时间才弄好的,中间出现各种意外的错误。。下篇博客将重点讲述这个艰难的过程。。。

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

今天来说说hadoop2.4的安装和配置吧~

1、环境的准备:

系统:CentOS

JDK版本号:jdk7

系统须要包括ssh服务的。

CentOS配置:/etc/profile 最后面加入例如以下:(此配置文件接的是上次编译hadoop2.4源代码的配置文件:http://blog.csdn.net/enson16855/article/details/35568049

export JAVA_HOME=/usr/java/jdk1.7.0_60
export PATH="$JAVA_HOME/bin:$PATH" export MAVEN_HOME=/home/hadoop/soft/apache-maven-3.2.1
export PATH="$MAVEN_HOME/bin:$PATH" export ANT_HOME=/home/hadoop/soft/apache-ant-1.9.4
export PATH="$ANT_HOME/bin:$PATH" export HADOOP_PREFIX=/home/hadoop/soft/hadoop/hadoop-2.4.0
export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH"
export PATH="$JAVA_HOME/:$HADOOP_PREFIX/bin:$PATH"
export HADOOP_PREFIX PATH CLASSPATH
export LD_LIBRARY_PATH=$HADOOP_PREFIX/lib/native/

注意:这边要求下载好hadoop-2.4.0,而且解压到指定的文件夹(本人的:/home/hadoop/soft/hadoop)~

下载地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

2、配置hadoop

hadoop-env.sh:

export JAVA_HOME=/usr/java/jdk1.7.0_60
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_PREFIX}/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_PREFIX/lib"

core-site.xml :

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://192.168.0.167:9000</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>

hdfs-site.xml :

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property> <property>
<name>dfs.permissions</name>
<value>false</value>
</property> <property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/name</value>
</property> <property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/hadoop/soft/hadoop/hadoop-2.4.0/dfs/data</value>
</property>
</configuration>

mapred-site.xml,这里2.4.0中没有这个文件,能够新建一个,或者直接改动mapred-site.xml.template

<configuration>
<property>
<name>mapreduce.jobtracker.address </name>
<value>192.168.0.167:9001</value>
</property>
</configuration>

yarn-site.xml:

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property> <property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>

3,ssh免password登陆设置



命令:(此处要切换root用户,不要傻逼嘻嘻的一直使用个人用户)

ssh-keygen -t rsa -P ""

直接回车就可以

cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys

试一下ssh localhost要是能免password登陆显示系统信息,就应该是对的。(这里有个输入password环节,是系统的password)

4、格式化hdfs:

命令:

./bin/hadoop namenode -format 

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

出现上面这个图片那样的 说明格式化成功。。。。

5、启动hadoop

命令:

./sbin/start-all.sh

新版本号的hadoop事实上不建议这么直接start-all,建议一步步来,须要start-dfs.sh等等一系列的操作,反正我们仅仅是做试验一样,我就没这么去讲究了。。

关闭的命令:

./sbin/stop-all.sh

启动成功例如以下:

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

基本启动的进程例如以下:

SecondaryNameNode

DataNode

NodeManager

Jps

ResourceManager

NameNode

浏览器訪问:http://localhost:50070

【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

http://localhost:8088 hadoop进程管理页面



【hadoop之翊】——基于CentOS的hadoop2.4.0伪分布安装配置

这样就算是总体成功了。。

上一篇:MySQL高可用系列之MHA(二)


下一篇:[转载]INNER JOIN连接两个表、三个表、五个表的SQL语句