Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)


由于新装的Ubutu默认情况下,系统只安装了SSH客户端,需要自行安装SSH服务端
如何确定是否安装了SSH服务端?
可以通过命令ssh localhost,结果如下,即未安装SSH服务端:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
安装SSH服务端:
sudo apt-get install openssh-server

在安装时,没有设置root密码,所以必须在安装完成进行设置后才能进入root用户
命令如下:
$ sudo passwd root 
输入你希望的root用户的密码

1、关闭防火墙
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
不管你在安装linux时是否启动了防火墙,如果你想配置属于自己的防火墙,那就清除现在filter的所有规则.
[root@tp ~]# iptables -F        清除预设表filter中的所有规则链的规则
[root@tp ~]# iptables -X        清除预设表filter中使用者自定链中的规则
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

2、普通用户下添加grid用户
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
将grid添加到sudo:
 
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
 
以下这段应该没什么作用,可以不用理会,如果遇到问题再回来设置

Linux 通过 命令行 增加用户 ,
(1) 打开终端 输入 sudo -r useradd 用户名 /* -r 参数建立系统用户
(2) 输入 sudo useradd -g root 用户名 /*这一行的命令是让你的刚刚建立的 用户 划分到 root 权限组下
(3)sudo passwd 用户名 /*设置你刚刚建立的密码

删除:
终端方法:以下用newuser代替想要删除的用户账户
在root用户下:userdel -r newuser
在普通用户下:sudo userdel -r newuser
因为你需要彻底删除用户,所以加上-r的选项,在删除用户的同时一起把这个用户的宿主目录和邮件目录删除。


 
3、将通过mv命令将安装包移动到grid用户下
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

 
4、配置JDK环境变量:
设置全局环境变量:
命令:sudo gedit /etc/profile
在文件末尾添加下面内容:(注意没有空格)
export JAVA_HOME=/usr/jdk
export JRE_HOME=/usr/jdk/jre
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH
 
重启JDK环境变量配置生效
 

配置默认JDK版本

由于ubuntu中可能会有默认的JDK,如openjdk,所以,为了将我们安装的JDK设置为默认JDK版本,还要进行如下工作。
执行代码:

  1. sudo update-alternatives --install /usr/bin/java java /usr/lib/jvm/java-7-sun/bin/java 300
  2. sudo update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/java-7-sun/bin/javac 300
  3. sudo update-alternatives --install /usr/bin/jar jar /usr/lib/jvm/java-7-sun/bin/jar 300
  4. sudo update-alternatives --install /usr/bin/javah javah /usr/lib/jvm/java-7-sun/bin/javah 300
  5. sudo update-alternatives --install /usr/bin/javap javap /usr/lib/jvm/java-7-sun/bin/javap 300

执行代码:

  1. sudo update-alternatives --config java

系统会列出各种JDK版本,如下所示:

  1. liujl@liujl:~$ sudo update-alternatives --config java
  2. 有 3 个候选项可用于替换 java (提供 /usr/bin/java)。
  3. 选择       路径                                    优先级  状态
  4. ------------------------------------------------------------
  5. * 0            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      自动模式
  6. 1            /usr/lib/jvm/java-6-openjdk/jre/bin/java   1061      手动模式
  7. 2            /usr/lib/jvm/java-6-sun/jre/bin/java       63        手动模式
  8. 3            /usr/lib/jvm/java-7-sun/bin/java           300       手动模式
  9. 要维持当前值[*]请按回车键,或者键入选择的编号:3
  10. update-alternatives: 使用 /usr/lib/jvm/java-7-sun/bin/java 来提供 /usr/bin/java (java),于 手动模式 中。

如果提示:There is only one alternative in link group java (providing /usr/bin/java): /usr/lib/jvm/java-7-sun/bin/java

说明只有一种你自己安装的JDK版本。

测试

  1. liujl@liujl:~$ java -version  java version "1.7.0_45"
    Java(TM) SE Runtime Environment (build 1.7.0_45-b18)
    Java HotSpot(TM) 64-Bit Server VM (build 24.45-b08, mixed mode)

 
SSH免密码登录
退出root,进入grid :su grid
生成密钥:ssh-keygen -t rsa
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
生成密钥:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

 
安装和配置Hadoop:
 
1、解压hadoop安装包:tar -xzvf hadoop-1.2.1-bin.tar.gz
 
2、进入hadoop
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
3、进入conf目录
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

修改hadoop-env.sh,
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
将JAVA_HONG改为JDK安装目录,注意将#去掉:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

修改core-site.xml,
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
设置namenode节点:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)

 
修改hdfs-site.xml:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

修改mapred-site.xml:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

所有的节点都修改/etc/hosts,使彼此之间都能把主机名解析为IP,需转到root用户下修改。(伪分布式不需要修改此文件)
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)

修改masters和slaves文件,如果里面已经存在内容则不需要修改
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

格式化分布式文件系统:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

 
启动守护进程
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

 
检查守护进程启动情况:
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 

 
验证安装是否成功:
打开浏览器,分别输入以下网址:
http://localhost:50030(MapReduce的Web页面)
Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
 

http://localhost:50070(HDFS的Web页面)

Hadoop-安装过程-单虚拟机版(伪分布式)(Ubuntu13.04版本下安装)
 
 

 
到此,恭喜安装成功了!!!
 
上一篇:Linux环境下查看历史操作命令及清除方法(history -c)


下一篇:JVM(五) class类文件的结构