VirtualBox + CentOS7 搭建 Hadoop 伪分布式模式

2022-10-07 15:09:00

一、准备好 CentOS7 的ISO 文件，JDK1.8 安装文件，hadoop-2.7 安装文件

链接：https://pan.baidu.com/s/1lmA0Ai9ivPftJgC6DbpN7g
提取码：iw3g

二、安装CentOS7系统

没有截图的页面默认配置直接下一步

三、CentOS7环境准备

root 登录系统

1、关闭防火墙

查看当前防火墙状态  Active: active (running) 表示开启
[root@centos7-hadoop sbin]# systemctl status firewalld.service
关闭防火墙
[root@centos7-hadoop sbin]# systemctl stop firewalld.service
查看当前防火墙状态  Active: inactive (dead) 表示关闭
[root@centos7-hadoop sbin]# systemctl status firewalld.service
永久关闭防火墙
[root@centos7-hadoop sbin]# systemctl disable firewalld.service

2、安装 ifconfig 命令用于查看IP

3、将所jdk,hadoop文件传入linux系统

jdk目录：/usr/java

hadoop目录：/opt/hadoop

4、解压缩 jdk-8u281-linux-x64.tar.gz

tar -zxvf jdk-8u281-linux-x64.tar.gz 到 /usr/java

5、配置jdk环境变量 vi /etc/profile 在最末未增加

#java
export JAVA_HOME=/usr/java/jdk1.8.0_281
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib

6、检查jdk安装是否成功

7、免密码ssh设置

现在确认能否不输入口令就用ssh登录localhost:
$ ssh localhost

如果不输入口令就无法用ssh登陆localhost，执行下面的命令：
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

四、配置Hadoop

1、解压缩 hadoop-2.7.5.tar.gz

tar -zxvf hadoop-2.7.5.tar.gz 到 /opt/hadoop

2、配置 hadoop-env.sh

vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-env.sh

将 export JAVA_HOME=${JAVA_HOME}
改成 export JAVA_HOME=/usr/java/jdk1.8.0_281

2、配置 hadoop-site.xml

vi /opt/hadoop/hadoop-2.7.5/etc/hadoop/hadoop-site.xml

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>localhost:9000</value>
  </property>
  <property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
</configuration>

3、格式化一个新的分布式文件系统

执行命令 /opt/hadoop/hadoop-2.7.5/bin/hadoop namenode -format

4、启动Hadoop守护进程

进入目录 /opt/hadoop/hadoop-2.7.5/sbin

执行命令 ./start-all.sh

浏览NameNode和JobTracker的网络接口，它们的地址默认为：

NameNode - http://IP地址:50070/
JobTracker - http://IP地址:50030/

码农公寓