0.本机安装所需软件及环境
Ubuntu12.0.4,64位
jdk版本:jdk1.7.0_15.tar.gz 地址:http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.htm
hadoop版本:hadoop-1.2.1.tar.gz 地址:http://mirrors.cnnic.cn/apache/hadoop/common/hadoop-1.2.1/
1.安装jdk
将jdk1.7.0_15.tar.gz解压到自己制定的目录,我的是解压到/home/peiran/java目录下:
tar -zxvf jdk1.7.0_15.tar.gz -C /home/peiran/java
然后设置环境变量,修改文件:sudo vim /etc/profile
在文件后面添加以下内容:
输入命令 : sudo source /etc/profile 使当前命令立即生效
验证java是否安装成功:如下所示,即安装成功
2.设置SSH免密码登陆,hadoop集群中,主节点需要访问从节点,考虑到集群很大,为了方便,一般都设置成无密码登陆,本文中只使用为分布式。
设置之前得确定本机安装了:SSH客户端openssh-client和openssh-server ,如果没有,就安装并确保ssh启动了
apt-get install openssh-client(一般Ubuntu默认安装了)
sudo apt-get install openssh-server
安装之后,验证ssh是否启动,出现下图所示,即正常启动:
未设置之前,ssh localhost提示输入密码:
依次输入以下命令:
ssh-keygen -t rsa
cd ~/.ssh/
cat id_rsa.pub>>authorized_keys ,整个过程如下图所是,再次ssh localhost时不用输入密码
3.安装并配置hadoop
将hadoop-1.2.1.tar.gz解压到自己制定的目录,我的是解压到/home/peiran/hadoop目录下
hadoop-1.2.1.tar.gz -C /home/peiran/java
伪分布模式:把伪分布式的Hadoop看做是只有一个节点的集群,在这个集群中,这个节点既是master,也是slave;既是NameNode也是DataNode;既是JobTracker,也是TaskTracker。设置如下:
修改/home/peiran/hadoop/hadoop-1.2.1/conf目录下面的hadoop-env.sh文件中的jdk环境变量:修改成自己电脑上的即可
修改/home/peiran/hadoop/hadoop-1.2.1/conf目录下的core-site.xml
修改/home/peiran/hadoop/hadoop-1.2.1/conf目录下的hdfs-site.xml
修改/home/peiran/hadoop/hadoop-1.2.1/conf目录下的mapred-site.xml
4.测试是否成功
首先格式HDFS,进入hadoop安装目录,输入命令 bin/hadoop namenode -format,如下图:
然后启动服务:bin/start-all.sh,然后输入jps指令,所有的五个进程均启动,至此hadoop伪分布模式配置成功
同时打开Web监测端:http://localhost:50030/jobtracker.jsp
http://localhost:50070/dfshealth.jsp
如果正常,说明安装成功。
输入命令:bin/stop-all.sh停止