在Ubuntu下安装与设置Hadoop的主要过程。
1. 创建Hadoop用户
创建一个用户,用户名为hadoop,在home下创建该用户的主目录,就不详细介绍了。
2. 安装Java环境
下载Linux环境下的JDK:jdk-8u111-linux-x64.tar.gz。
在usr下创建一个java文件夹,将jdk-8u111-linux-x64.tar.gz复制到java文件夹下面,并解压。
为了操作方便,为JDK文件夹建立一个链接:
编辑/etc/profile文件,在文件末位加上下列语句,设置Java环境变量:
从新登录或者输入source /etc/profile命令,使profile文件生效。
最后,输入java -version命令,可见Java环境安装成功。
3. 安装与设置SSH
Hadoop需要用到SSH登录,Ubuntu已经安装了SSH Client,还需要安装SSH Server。输入命令:
输入ssh localhost可以登录到本机,但是需要输入密码。要实现无密码登录,还需要输入以下命令:
cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys
以上命令创建了RSA密钥,就可以凭借RSA密钥登录,不需要再输入密码了。
4. 安装Hadoop
下载hadoop-2.7.3.tar.gz,在usr/local/下创建一个hadoop文件夹,将hadoop-2.7.3.tar.gz复制到该文件夹,解压,为了方便操作,将hadoop2.7.3文件夹改名为hadoop。为了测试hadoop是否可用,可以输入以下命令测试一下。