hadoop的安装和配置（三）完全分布式模式

2023-08-20 08:55:10

博主会用三篇文章为大家详细说明hadoop的三种模式：

本地模式

伪分布模式

完全分布模式

完全分布式模式：

　　前面已经说了本地模式和伪分布模式，这两种在hadoop的应用中并不用于实际，因为几乎没人会将整个hadoop集群搭建在一台服务器上（hadoop主要是围绕：分布式计算和分布式存储，如果以一台服务器做，那就完全违背了hadoop的核心方法）。简单说，本地模式是hadoop的安装，伪分布模式是本地搭建hadoop的模拟环境。（当然实际上并不是这个样子的，小博主有机会给大家说！）

那么在hadoop的搭建，其实真正用于生产的就是完全分布式模式：

思路简介

域名解析

ssh免密登陆

java和hadoop环境

配置hadoop文件

复制主节点到其他节点

格式化主节点

hadoop搭建过程+简介

在搭建完全分布式前大家需要了解以下内容，以便于大家更好的了解hadoop环境：

1.hadoop的核心：分布式存储和分布式计算（用官方的说法就是HDFS和MapReduce）

2.集群结构：1+1+n 集群结构（主节点+备用节点+多个从节点）

3.域名解析：这里为了方便，我们选择修改/etc/hosts实现域名解析（hadoop会在.../etc/hadoop/salves下添加从节点，这里需要解析名，当然你也能直接输入ip地址，更简单）

4.hadoop的命令发放，需要从ssh接口登录到其他服务器上，所以需要配置ssh免密登陆

5.本文采取1+1+3 集群方式：域名为：s100（主）,s10（备主）,s1,s2,s3（从）

一：配置域名解析

主——s100:

[root@localhost ~]# vim /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

192.168.1.68 s100

192.168.1.108 s1

192.168.1.104 s2

192.168.1.198 s3

192.168.1.197 s10

hadoop的安装和配置（三）完全分布式模式

将s100上的/etc/hosts拷贝到其他hadoop的集群服务器上。例如：

将s100的/etc/hosts拷贝到s1上

 [root@localhost ~]# scp /etc/hosts root@192.168.1.108:/etc/hosts

 The authenticity of host '192.168.1.108 (192.168.1.108)' can't be established.

 RSA key fingerprint is dd:64:75:5f:96:11:07:39:a3:fb:aa:3c:30:ae:59:82.

 Are you sure you want to continue connecting (yes/no)? yes

 Warning: Permanently added '192.168.1.108' (RSA) to the list of known hosts.

 root@192.168.1.108's password:

 hosts                                                    100%  246     0.2KB/s   00:00

hadoop的安装和配置（三）完全分布式模式

将所有服务器的域名解析配置完成，进行下一步

二：配置ssh免密码登录

备注：考虑到有的小伙伴可能没有openssh-server（ssh服务）【百度一下帮大家搜索了一下，总结如下】——小博主是不是很暖呢？

Ubuntu等——ssh：sudo apt-get install openssh-server

Redhat等——ssh：yum install openssh-server

主——s100：

ssh生成相应密钥对：id_rsa私钥和id_rsa.pub公钥
 [root@localhost ~]# ssh-keygen -t rsa -P ''

 Generating public/private rsa key pair.

 Enter file in which to save the key (/root/.ssh/id_rsa):

 Your identification has been saved in /root/.ssh/id_rsa.

 Your public key has been saved in /root/.ssh/id_rsa.pub.

 The key fingerprint is:

 a4:6e:8d:31:66:e1:92:04:37:8e:1c:a5:83:5e:39:c5 root@localhost.localdomain

 The key's randomart image is:

 +--[ RSA 2048]----+

 |  o.=.           |

 | o BoE           |

 |. =+o . .        |

 |. .o.o +         |

 | .  o B S        |

 |     = =         |

 |      + .        |

 |     .           |

 |                 |

 +-----------------+

 [root@localhost ~]# cd /root/.ssh/

 [root@localhost .ssh]# ls

 id_rsa  id_rsa.pub  known_hosts

默认是存在/当前user/.ssh（/root/.ssh或者/home/user/.ssh）下的！

hadoop的安装和配置（三）完全分布式模式

有了密钥对：将id_rsa.pub加到授权中：

 [root@localhost .ssh]# cat id_rsa.pub >> authorized_keys（/root/.ssh下）

 [root@localhost .ssh]# ls

 authorized_keys  id_rsa  id_rsa.pub  known_hosts

hadoop的安装和配置（三）完全分布式模式

备注：

authorized_keys的权限可能会限制免密登陆

试一下是否本地免密登陆设置成功：

 [root@localhost .ssh]# ssh localhost

 The authenticity of host 'localhost (::1)' can't be established.

 RSA key fingerprint is 9e:e0:91:0f:1f:98:af:1a:83:5d:33:06:03:8a:39:93.

 Are you sure you want to continue connecting (yes/no)? yes（第一次登陆需要确定）
 Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

 Last login: Tue Dec 26 19:09:23 2017 from 192.168.1.156

 [root@localhost ~]# exit

 logout

 Connection to localhost closed.

hadoop的安装和配置（三）完全分布式模式

ok！没有问题，那么配置其他服务器，其实只需要把本机s100的id_rsa.pub复制到其他服务器上就可以了！

这里就选择ssh-copy-id命令传送到其他服务器上（小博主这可不是偷懒！有命令就应该拿过来！）

 [root@localhost .ssh]# ssh-copy-id root@s1（s1是主机地址，这里提醒大家一下，因为有人因为这个问题问过我╭(╯^╰)╮）

 The authenticity of host 's1 (192.168.1.108)' can't be established.

 RSA key fingerprint is dd:64:75:5f:96:11:07:39:a3:fb:aa:3c:30:ae:59:82.

 Are you sure you want to continue connecting (yes/no)? yes

 Warning: Permanently added 's1' (RSA) to the list of known hosts.

 root@s1's password:

 Now try logging into the machine, with "ssh 'root@s1'", and check in:

   .ssh/authorized_keys

 to make sure we haven't added extra keys that you weren't expecting.

hadoop的安装和配置（三）完全分布式模式

登录了一下，没有问题
1 [root@localhost .ssh]# ssh s1

 Last login: Wed Dec 27 18:50:12 2017 from 192.168.1.156

将剩余的配置完成！

有对于ssh免密登陆不清楚的小伙伴请移步下面的链接：

ssh免密登陆详细配置链接

主节点 

三：配置java环境和安装hadoop（hadoop环境）

备注：这里小伙伴必须要知道的是，不管hadoop的主节点还是从节点甚至说备主节点，他们的java环境和hadoop环境都一样，所以我们只需要配置完一台服务器，就完成了所有的配置过程

因为完全分布模式也是在本地模式的基础上配置的，所以我们首先配置本地模式：

完全分布式模式 = 本地模式 + 配置文件

java环境和hadoop的安装等过程就是前面所说的本地模式了，这里就不多说了：

hadoop的安装和配置——第一章：本地模式

四：配置内容：

备注：对于配置文件以后会有时间会单独写一篇相关的文档

主要修改以下五个文件：

 hadoop的配置文件：/usr/local/hadoop/etc/hadoop

 [root@localhost hadoop]# cd /usr/local/hadoop/etc/hadoop

 [root@localhost hadoop]# ls

 core-site.xml

 hdfs-site.xml

 mapred-site.xml

 yarn-site.xml4

 slaves

hadoop的安装和配置（三）完全分布式模式

配置 core-site.xml：

主要：指定主节点

<configuration>

        <property>

                <name>fs.defaultFS</name>

                <value>hdfs://s100/</value>

        </property>

        #临时文件

        <property>

                <name>hadoop.tmp.dir</name>

                <value>/root/hadoop</value>

        </property>

</configuration>

hadoop的安装和配置（三）完全分布式模式

配置hdfs-site.xml：

主要：指定备份数量

<configuration>

        #默认备份数为3，如果采取默认数，那么slaves不能少于备份数

        <property>

                <name>dfs.replication</name>

                <value>2</value>#备份数

        </property>

        #备主

        <property>

                <name>dfs.namenode.secondary.http-address</name>

                <value>s10:50000</value>

        </property>

        <property>

                <name>dfs.namenode.name.dir</name>

                <value>file:///${hadoop.tmp.dir}/dfs/name</value>

        </property>

</configuration>

hadoop的安装和配置（三）完全分布式模式

配置mapred-site.xml：

主要：指定资源管理yran方法

<configuration>

        <property>

                <name>mapreduce.framework.name</name>

                <value>yarn</value>

        </property>

</configuration>

hadoop的安装和配置（三）完全分布式模式

配置yarn-site.xml：

<configuration>

        <property>

                <name>yarn.resourcemanager.hostname</name>

                <value>s100</value>

        </property>

        <property>

                <name>yarn.nodemanager.aux-services</name>

                <value>mapreduce_shuffle</value>

        </property>

</configuration>

hadoop的安装和配置（三）完全分布式模式

配置slaves：

s1

s2

s3

hadoop的安装和配置（三）完全分布式模式

五：scp-java环境和hadoop配置文件（hadoop环境）

做到这里，基本就完成了，现在就把主节点的所以配置都放到从节点上！

 [root@localhost ~]# scp -r /usr/local/java root@s1:/usr/local/

复制java

 scp -r /usr/local/hadoop root@s1:/usr/local/

复制hadoop

 [root@localhost ~]# scp /etc/profile root@s1:/etc/profile

环境变量

登录到s1中执行source

 [root@localhost ~]# ssh s1

 Last login: Wed Dec 27 23:18:48 2017 from s100

 [root@localhost ~]# source /etc/profile

s1配置完成，其他的服务器一样！

六：格式化主节点

 [root@localhost ~]# hadoop namenode -format

启动hadoop：

start-all.sh

关闭hadoop：

stop-all.sh

jps查询进程信息

主节点：

 [root@localhost ~]# jps

 30996 Jps

 30645 NameNode

 30917 ResourceManager

2主节点：

 [root@localhost ~]# jps

 33571 Jps

 33533 SecondaryNameNode

从节点：

 [root@localhost ~]# jps

 33720 Jps

 33691 NodeManager

 33630 DataNode

本文版权声明：

本文作者：魁·帝小仙

博文主页地址：http://www.cnblogs.com/dxxblog/

欢迎对小博主的博客内容批评指点，如果问题，可评论或邮件联系（2335228250@qq.com）

欢迎转载，转载请在文章页面明显位置给出原文链接，谢谢

上一篇：TP引用样式表和js文件及验证码


下一篇：流畅python学习笔记：第十一章：抽象基类