前言
本文介绍如何在Ubuntu Kylin操作系统上搭建Hadoop平台。
配置
1. 操作系统: Ubuntu Kylin 14.04
2. 编程语言: JDK 1.8
3. 通信协议: SSH
2. 云计算项目版本: Hadoop 1.2.1
第一步：安装最新版本的JDK (若已经安装过请忽略这一步)
1. 去官网下载JDK1.8并解压 (当前安装包为:jdk-8u25-linux-x64.gz)
2. 将解压后的安装包复制到 /usr/lib/jvm 目录下 (jvm目录需要自行创建)
3. 以管理员方式打开 /etc/profile 文件并在文件底部添加以下代码：
#set Java Environment export JAVA_HOME=/usr/lib/jvm/jdk1..0_25 export CLASSPATH=".:$JAVA_HOME/lib:$CLASSPATH" export PATH="$JAVA_HOME/bin:$PATH"
4. 执行以下命令使配置文件立即生效：
source /etc/profile
5. 执行以下命令验证JDK是否安装成功：
1 java -version
若显示以下信息表示安装完成：
第二步：配置SSH免密码登陆
1. 执行以下命令安装SSH：
1 sudo app-get install ssh
2. 检查用户目录下是不是有个名为.ssh的隐藏文件夹，没有的话就自己创建一个。
3. 执行以下命令配置SSH无密码登陆 (这几行代码的功能请参考SSH使用文档):
ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
4. 执行以下命令验证SSH是否安装配置成功：
ssh localhost
出现提示输入yes，若终端显示以下信息，表示SSH配置成功：
第三步：安装并运行Hadoop
说明：Hadoop有三种运行方式 - 单机模式，伪分布式和完全分布式。其中，前两者主要用于程序的测试和调试，这里要讲的是伪分布式的配置，配置完全分布式的方法将在以后讲解。
1. 下载并解压最新版本的Hadoop到当前目录下 (当前安装包为:hadoop-1.2.1.tar.gz)
2. 进入conf子目录中，修改如下配置文件：
a. hadoop-env.sh (设置JAVA路径)
在末尾添加：
export JAVA_HOME=/usr/lib/jvm/jdk1..0_25
b. core-site.xml (配置HDFS地址及端口号)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
c. hdfs-site.xml (修改备份方式，单机版本需要将其改为1)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>dfs.replication</name>
<value></value>
</property>
</configuration>
d. mapred-site.xml (设置JobTracker地址及端口)
配置为:
<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:</value>
</property>
</configuration>
3. 进入Hadoop文件夹执行以下命令以格式化Hadoop文件系统HDFS：
bin/hadoop namenode -format
4. 执行以下命令以启动所有Hadoop进程：
bin/start-all.sh
5. 验证Hadoop是否安装成功
a. 打开浏览器，输入网址 http://localhost:50030 以查看MapReduce的Web页面：
b. 打开浏览器，输入网址 http://localhost:50070 以查看HDFS的Web页面：
如果显示正常，那么Hadoop环境便搭建好了。
小结
1. 伪分布式的架构，机制和真实分布式其实是一样的，不过伪分布式中，Master和Slave都是一台机器。
2. 关于真实分布式环境的搭建，将在以后介绍。到时会在虚拟机上组建一个虚拟网络，跑真·分布式程序。