首先安装双系统进行伪分布式实验,安装win7+ubuntu双系统:
1、右键单击“我的电脑”进入“管理”,双击“存储”,再双击“磁盘管理”,在D盘位置右击“压缩卷”,分出一个大小为50G的磁盘空间,然后格式化,之后再删除卷,作为安装ubuntu系统所用。
2、下载安装easyBCD软件,新建一个Neo Grub启动,然后在点击设置,添加一下语句:
title install ubuntu 12.04 LTS
root(hd0,5)
kernel(hd0,5)/vmlinuz boot=casper iso-scan/filename=/ubuntu-12.04-desktop-i386.iso ro quiet splash locale=zh_CN.UTF-8
Initrd(hd0,5)/initrd.lz
注释:5是代表D盘,因为我的镜像放在D盘,1-4代表的是主分区,也即是C盘。
3、开机进入图形界面安装ubuntu即可。
接下来进入ubuntu系统,首先将当前用户变成root用户,打开终端输入如下命令,sudo gedit /etc/passwd 找到当前用户名一行,将所有1000改成0,保存退出,然后注销用户,重新登录即可。如果不想这样做的朋友也可以在使用命令前加上sudo。
4、安装java
下载并解压缩jdk-7u51-linux-i586.tar.gz到/usr目录下,并将文件夹重命名为jvm,打开终端,输入命令 vim /etc/profile编辑环境变量,在最后添加如下语句:
export JAVA_HOME=/usr/jvm
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$PATH
保存后退出,再输入source /etc/profile 使设置生效。
5、安装ssh并做免密码连接
打开终端,输入命令: apt-get install ssh。安装完毕后,设置ssh无密码登录,如图所示:
6、接着安装hadoop
下载并解压hadoop1.2.1.tar.gz到/usr,并重命名为hadoop,进入hadoop/conf目录,首先编辑hadoop-env.sh,在里面添加java安装路径。如图。
然后编辑core-site.xml,注意,其中的tmp目录需要提前创建好。其次,fs.default.name是指定NN的位置。如图。
接着是编辑hdfs-site.xml。这个是配置复制因子,因为现在是伪分布,所以只有一个DN,故为1.如图。
其次是mapred-site.xml。其中的mapred.job.tracker是指定JT的位置。
保存退出。然后是namenode的格式化,打开终端,定位到hadoop目录下,输入命令:hadoop namenode -format 回车,看见下图即说明格式化成功。如果将hadoop的bin目录加入到环境变量中则可直接运行hadoop命令。
然后我们就来到了最激动人心的时刻!运行hadoop!!运行jps命令之后,可以看到应该有的5个进程。
可以访问localhost的50070端口,这个是NN的web操作界面。
同时也可以访问localhost的50030端口。这是JT的web监控界面。
到这里,恭喜你!hadoop伪分布已完成!!