Hadoop 伪分布模式安装

2021-08-28 23:27:14

（温馨提示：图片中有id有姓名，不要盗用哦，可参考流程，有问题评论区留言哦）

一、任务目标

1、了解Hadoop的3种运行模式

2、熟练掌握Hadoop伪分布模式安装流程

3、培养独立完成Hadoop伪分布安装的能力

二、系统环境

Linux Ubuntu 16.04

三、任务内容

在只安装Linux系统的服务器上，安装Hadoop2.6.0伪分布模式。

四、任务步骤

1.此步为可选项，建议用户创建一个新用户及用户组，后续的操作基本都是在此用户下来操作。但是用户亦可在自己当前非 root 用户下进行操作。创建一个用户，名为 zhangyu，并为此用户创建 home 目录，此时会默认创建一个与 zhangyu 同名的用户组。

为 zhangyu 用户设置密码，按提示消息，输入密码以及确认密码即可，此处密码设置为 zhangyu 将 zhangyu 用户的权限，提升到 sudo 超级用户级别

后续操作，我们需要切换到 zhangyu 用户下来进行操作。

2.（1）首先来配置SSH 免密码登陆 SSH免密码登陆需要在服务器执行以下命令，生成公钥和私钥对. 此时会有多处提醒输入在冒号后输入文本，这里主要是要求输入ssh密码以及密码的放置位置。在这里，只需要使用默认值，按回车即可。

（2）此时ssh公钥和私钥已经生成完毕，且放置在~/.ssh目录下。切换到~/.ssh目录下。查看~/.ssh目录下的文件。

（3）下面在~/.ssh目录下，创建一个空文本，名为authorized_keys。

将存储公钥文件的id_rsa.pub里的内容，追加到authorized_keys中。

（4）下面执行ssh localhost测试ssh配置是否正确。第一次使用ssh访问，会提醒是否继续连接，输入“yes"继续进行，执行完以后退出。后续再执行ssh localhost时，就不用输入密码了。

3.（5）下面首先来创建两个目录，用于存放安装程序及数据。并为/apps和/data 目录切换所属的用户为zhangyu及用户组为zhangyu。两个目录的作用分别为：/apps目录用来存放安装的框架，/data 目录用来存放临时数据、HDFS数据、程序代码或脚本。

（6）切换到根目录下，执行 ls -l 命令。可以看到根目录下/apps和/data 目录所属用户及用户组已切换为zhangyu:zhangyu。

4. 配置HDFS。

创建/data/hadoop1目录，用来存放相关安装工具，如jdk安装包jdk-7u75-linux-x64.tar.gz及hadoop安装包hadoop-2.6.0-cdh5.4.5.tar.gz。

切换目录到/data/hadoop1目录，使用wget命令，下载所需的hadoop安装包jdk-7u75-linux-x64.tar.gz及hadoop-2.6.0-cdh5.4.5.tar.gz。

5.（1）安装jdk。将/data/hadoop1目录下jdk-7u75-linux-x64.tar.gz 解压缩到/apps目录下。其中，tar -xzvf 对文件进行解压缩，-C 指定解压后，将文件放到/apps目录下。

（2）切换到/apps目录下，我们可以看到目录下内容如下：

（3）下面将jdk-14.0.1目录重命名为java，执行：

6. 下面来修改环境变量：系统环境变量或用户环境变量。我们在这里修改用户环境变量。

（1）输入下面命令，打开存储环境变量的文件。空几行，将java的环境变量，追加进用户环境变量中。输入Esc, 进入vim 命令模式，输入 :wq !进行保存。

（2）执行source命令，让java环境变量生效。执行完毕后，可以输入java，来测试环境变量是否配置正确。如果出现下面界面，则正常运行。

7. 下面安装hadoop，切换到/data/hadoop1目录下，将hadoop-2.6.0-cdh5.4.5.tar.gz解压缩到/apps 目录下。为了便于操作，我们也将hadoop-2.6.0-cdh5.4.5重命名为hadoop。

8. （1）0修改用户环境变量，将hadoop的路径添加到path中。先打开用户环境变量文件。将以下内容追加到环境变量~/.bashrc文件中。

（2）让环境变量生效。

（3）验证hadoop环境变量配置是否正常

9. 下面来修改hadoop本身相关的配置。首先切换到hadoop配置目录下。

10. （1）输入vim /apps/hadoop/etc/hadoop/hadoop-env.sh，打开hadoop-env.sh配置文件。将下面JAVA_HOME追加到hadoop-env.sh文件中。

11. 输入vim /apps/hadoop/etc/hadoop/core-site.xml，打开core-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间。

12. 输入vim /apps/hadoop/etc/hadoop/hdfs-site.xml，打开hdfs-site.xml配置文件。添加下面配置到<configuration>与</configuration>标签之间。配置项说明： dfs.namenode.name.dir，配置元数据信息存储位置； dfs.datanode.data.dir，配置具体数据存储位置； dfs.replication，配置每个数据库备份数，由于目前我们使用 1 台节点，所以，设置为 1，如果设置为2 的话，运行会报错。 dfs.permissions.enabled，配置hdfs是否启用权限认证另外/data/tmp/hadoop/hdfs路径，需要提前创建，所以我们需要执行