基于虚拟机CentOS7搭建hadoop集群

2023-12-18 15:02:15

基于虚拟机CentOS7搭建hadoop集群

第一部分准备工作

1 安装虚拟机

Windows环境下安装Vmware WorkStation；

Mac intel环境下安装Vmware Fushion；

Mac M1环境下安装Pararell Desktop；

具体见参考链接1。

2 下载centos

（提供下载地址）

3 虚拟机安装centos

（大部分选择默认选项即可，缺乏图形说明）

3.1 安装过程

1、软件选择（按需安装即可）：开发及生成工作站->附加开发、DNS名称服务器、开发工具、Emacs、FTP服务器、图形生成工具、主框架访问、MariaDB数据库服务器、网页用Perl、平台开发、Python

2、安装位置：自动配置分区

3、网络设置：桥接模式

4、删除打印机设备（解决可能出现的蓝屏问题）

3.2 网络配置

设置静态ip：

su root		//切换到root用户
dhclient	//随机分配一个可用ip
ifconfig	//查看ip地址，ens33网卡
vi /etc/sysconfig/network-scripts/ifcfg-ens33	//配置网卡
systemctl restart network.service	//重启网卡

//ifcfg-ens33修改点如下
BOOTPROTO=static
ONBOOT=yes
IPADDR=*.*.*.*
NETMASK=255.255.255.0
GATAWAY=*.*.*.1
DNS1=119.29.29.29

3.3 连接性测试

1、网络测试方法：ping宿主机、ping外网、ping其余节点

2、使用SecureCRT连接虚拟机，使用WinSCP/Transmit交互文件

4 centos安装配置jdk

第二部分多节点Linux环境打造

1 虚拟机克隆

2 网络配置

同上，到此步如果多节点互相能ping通，则多节点Linux环境打造完成。下述操作属于延伸操作。

3 hostname修改

3.1 修改hostname

hostname	//查看机器名称
hostname master	//将主节点名称改成master，其余节点在对应机器上可改成slave，slave1...

3.2 修改/etc/hosts

三台机器均需要修改

vi /etc/hosts

ip1 master	//ip是各自生成的ip
ip2 slave
ip3 slave1

3.3 检查是否能ping通

ping -c 3 slave
ping -c 3 slave1

4 密钥配置

4.1 生成密钥

三台机器均需要生成

ssh-keygen -t rsa -P ‘‘
//查看生成的文件，路径下有id_rsa,id_rsa.pub
ls /root/.ssh	
//创建authorized_keys文件
touch /root/.ssh/authorized_keys
//将三台机器的id_rsa.pub保存至authorized_keys中

4.2 测试ssh无密码登陆

ssh slave
ssh slave1
exit

第三部分 hadoop集群配置

1 下载hadoop

（提供下载地址）

2 安装hadoop

mkdir /usr/hadooop
cd /usr/hadoop
tar -zxvf hadoop-2.7.3
//新建文件夹
mkdir /root/hadoop
mkdir /root/hadoop/tmp
mkdir /root/hadoop/var
mkdir /root/hadoop/dfs
mkdir /root/hadoop/dfs/name
mkdir /root/hadoop/dfs/data

3 hadoop配置

3.1 修改core-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/core-site.xml

 <property>
	 	<name>hadoop.tmp.dir</name>
	 	<value>/root/hadoop/tmp</value>
	 	<description>Abase for other temporary directories.</description>
 </property>
 <property>
 		<name>fs.default.name</name>
 		<value>hdfs://master:9000</value>
 </property>

3.2 修改hadoop-env.sh

三台机器均需要修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_161

3.3 修改hdfs-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

<property>
   <name>dfs.name.dir</name>
   <value>/root/hadoop/dfs/name</value>
   <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
</property>
<property>
   <name>dfs.data.dir</name>
   <value>/root/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
</property>
<property>
   <name>dfs.replication</name>
   <value>2</value>
</property>
<property>
      <name>dfs.permissions</name>
      <value>true</value>
      <description>need not permissions</description>
</property>

3.4 修改mapred-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template

<property>
		<name>mapred.job.tracker</name>
		<value>master:49001</value>
</property>
<property>
    <name>mapred.local.dir</name>
    <value>/root/hadoop/var</value>
</property>
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

3.5 修改slaves

仅在master上修改

路径: /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves文件，将里面的localhost删除，添加如下内容：

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/slaves

slave
slave1

3.6 修改yarn-site.xml

仅在master上修改

vi /usr/hadoop/hadoop-2.7.3/etc/hadoop/yarn-site.xml

<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>master</value>
   </property>
   <property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>${yarn.resourcemanager.hostname}:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>${yarn.resourcemanager.hostname}:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>${yarn.resourcemanager.hostname}:8088</value>
   </property>
   <property>
        <description>The https adddress of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.https.address</name>
        <value>${yarn.resourcemanager.hostname}:8090</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>${yarn.resourcemanager.hostname}:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>${yarn.resourcemanager.hostname}:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>每个节点可用内存,单位MB,默认8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-pmem-ratio</name>
        <value>2.1</value>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
</property>
 
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

第四部分启动hadoop

1 初始化hadoop

进入到master这台机器的/usr/hadoop/hadoop-2.7.3/bin目录，

cd /usr/hadoop/hadoop-2.7.3/bin 切换到指定目录

./hadoop namenode -format 执行命令

2 启动hadoop

进入到master这台机器的/usr/hadoop/hadoop-2.7.3/sbin目录，

cd /usr/hadoop/hadoop-2.7.3/sbin 切换到指定目录

./start-all.sh 执行命令

3 测试hadoop

关闭防火墙 systemctl stop firewalls.service

在本地浏览器里访问如下地址： http://192.168.70.130:50070/ 自动跳转到了overview页面

在本地浏览器里访问如下地址： http://192.168.70.130:8088/ 自动跳转到了cluster页面

参考链接：

1、基于虚拟机centos7搭建Hadoop集群_二黑的博客-CSDN博客

2、建议人手一套：个人专属多节点Linux环境打造，Linux操作系统学习实验环境安装配置视频教程_哔哩哔哩_bilibili

基于虚拟机CentOS7搭建hadoop集群

码农公寓