实现keepalived企业级高可用基于LVS-DR模式

2021-08-15 04:23:46

一、为什么要使用keepalived

当后端实现了负载均衡后坏掉一台机器后可以用另一台后台web服务器补上，但是当前端的LVS坏掉后，整套服务就彻底废掉，因此前端的LVS也需要实现负载均衡。

Keepalived的作用是检测服务器的状态，如果有一台web服务器宕机，或工作出现故障，Keepalived将检测到，并将有故障的服务器从系统中剔除，同时使用其他服务器代替该服务器的工作，当服务器工作正常后Keepalived自动将服务器加入到服务器群中，这些工作全部自动完成，不需要人工干涉，需要人工做的只是修复故障的服务器。

keepalived：通过实现vrrp协议来实现地址漂移

配置文件简单：配置文件比较简单，可通过简单配置实现高可用功能

稳定性强：keepalived是一个类似于layer3,4 & 7交换机制的软件，具备我们平时说的第3层、第4层和第7层交换机的功能，常用于前端负载均衡器的高可用服务，当主服务器出现故障时，可快速进行切换，监测机制灵活，成功率高。

成本低廉：开源软件，可直接下载配置使用，没有额外费用。

应用范围广：因为keepalived可应用在多个层面，所以它几乎可以对所有应用做高可用，包括LVS、数据库、http服务、nginx负载均衡等等

支持多种类型：支持主从模式、主主模式高可用，可根据业务场景灵活选择

二、原理：

1、当用户访问前端的VIP时，到达LVS-server上，通过keepalived根据配置文件将虚拟ip VIP绑定到LVS-server-master的网卡上，首先将访问到主LVS服务器上，通过LVS分配后端realserver，当主LVS服务器出现故障后，keepalived可以将LVS-server-master的网卡上的VIP解除，重新绑定在LVS-server-backup的网卡上，用户将通过LVS-server-backup去访问后端真正的服务器。

实现一个VIP在主LVS-server和从LVS-server的漂移

2、LVS-DR工作方式

(a) 当用户请求到达DirectorServer，此时请求的数据报文会先到内核空间的PREROUTING链。此时报文的源IP为CIP，目标IP为VIP

(b)PREROUTING检查发现数据包的目标IP是本机，将数据包送至INPUT链

(c) IPVS比对数据包请求的服务是否为集群服务，若是，将请求报文中的源MAC地址修改为DIP的MAC地址，将目标MAC地址修改RIP的MAC地址，然后将数据包发至POSTROUTING链。此时的源IP和目的IP均未修改，仅修改了源MAC地址为DIP的MAC地址，目标MAC地址为RIP的MAC地址

(d) 由于DS和RS在同一个网络中，所以是通过二层（数据链路层）来传输。POSTROUTING链检查目标MAC地址为RIP的MAC地址，那么此时数据包将会发至Real Server。

(e)RS发现请求报文的MAC地址是自己的MAC地址，就接收此报文。处理完成之后，将响应报文通过lo接口传送给eth0网卡然后向外发出。此时的源IP地址为VIP，目标IP为CIP

(f)响应报文最终送达至客户端

三、实验：

1、环境准备：两台centos系统做DR ，一主一从，两台实现过基于LNMP的电子商务网站

LVS-server-master：VIP：172.17.251.239 桥接模式开启路由功能，配置keepalived

LVS-server-backup：VIP：172.17.251.239 桥接模式开启路由功能，配置keepalived

后端服务器1：RIP：172.17.251.107 桥接模式

VIP：172.17.251.239 lo：0

后端服务器2：RIP：172.17.251.110 桥接模式

VIP：172.17.251.239 lo：0

2、在后端服务器上实现LNMP

在两个后端服务器上分别实现LNMP，实现方法如下

http://guanm.blog.51cto.com/13126952/1978354

3、安装步骤：

（1）两台LVS-server都使用yum方式安装keepalived服务

（2）iptables -F&& setenforing 0 清空防火墙策略，关闭selinux

4、配置基于DR模式的LVS负载均衡集群:

配置完成后启动服务：

centos6：service keepalived start

centos7：ststemctl start keepalived

（1）在LVS-server-master上配置keepalived并启动服务

vim /etc/keepalived/keepalived.conf

! Configuration File for keepalived
global_defs {

  notification_email {

       root@localhost #发件人信息（可以随意伪装，邮件系统不会验证处理发件人信息）

   }

  notification_email_from root

  smtp_server 127.0.0.1      #发邮件的服务器（一定不可为外部地址）

  smtp_connect_timeout 600   #连接查超时时间

  router_id  KEEPAVILD_LVS  #路由器的标识（可以随便改动）
}

vrrp_instance VI_1 {

   state MASTER         # Master表示主

   virtual_router_id 51          #虚拟路由的ID号（一般不可大于255） 

   interface eth0                #指定虚拟VIP要绑定的网卡

   priority 101                #优先级信息 #备节点必须更低

   advert_int 1                   #VRRP通告间隔，单位秒

   authentication {

       auth_type PASS        #认证机制

       auth_pass centos      #密码（尽量使用随机）

    }

   virtual_ipaddress {

       172.17.251.239     #设置一个virtual server: VIP:Vport

    }
}

virtual_server 172.17.251.239 80{  #关联80端口

   delay_loop 6           # service polling的delay时间，即服务轮询的时间间隔

   lb_algo wrr            #LVS调度算法：rr|wrr|lc|wlc|lblc|sh|dh

   lb_kind DR         #LVS集群模式：NAT|DR|TUN

   nat_mask 255.255.255.255    

   persistence_timeout 50    #会话保持时间（持久连接，秒），即以用户在50秒内被分配到同一个后端realserver

   protocol TCP          #协议TCP  

   real_server 172.17.251.107 80 {   #后端的真正服务器1

       weight 1         #权重1

       HTTP_GET {        #http服务

           url {

              path /

           }

           connect_timeout 3   #连接超时时间 

           nb_get_retry 3        #重连次数

           delay_before_retry 3    #重连间隔

       }

    }

   real_server 172.17.251.110 80 {

       weight 1

       HTTP_GET {

           url {

              path /

           }

           connect_timeout 3

           nb_get_retry 3

           delay_before_retry 3

       }

    }
}

（1）在LVS-server-backup上配置keepalived

在LVS-server-master上将配置文件复制到从上

scp /etc/keepalived/keepalived.conf 172.17.251.108:/etc/keepalived

修改 vim /etc/keepalived/keepalived.conf

state BACKUP #从负载均衡器

priority 100 #优先级是100

5、在两台后端服务器上

要在后端的服务器上配置回环VIP，仅仅自己响应，不然和LVS

（1） ifconfig lo:0 172.17.251.239 broadcast 172.17.251.239 netmask 255.255.255.255 up

#配置VIP到本地回环网卡lo上，并只广播自己

（2）routeadd -host 172.17.251.239 lo:0

#配置本地回环网卡路由

（3）echo "1" >/proc/sys/net/ipv4/conf/lo/arp_ignore

# 只回答目标IP地址是来访网络接口本地地址的ARP查询请求

echo "2" >/proc/sys/net/ipv4/conf/lo/arp_announce

# 对查询目标使用最适当的本地地址.在此模式下将忽略这个IP数据包的源地址并尝试选择与能与该地址通信的本地地址.

（4）echo "1" >/proc/sys/net/ipv4/conf/all/arp_ignore

echo "2" >/proc/sys/net/ipv4/conf/all/arp_announce

#关闭arp应答

1: 仅在请求的目标IP配置在本地主机的接收到请求报文的接口上时，才给予响应

2：必须避免将接口信息向非本网络进行通告

（5）开启web（nginx）、php-fpm、mysql服务

6、开启keepalived服务后，用ip a 查看ip是否成功添加

（1）在LVS-server-master上查看，用ifconfig 查看不到，用ip a 查看

curl http://172.17.251.239/index.html 可以访问成功

（2）测试

这时关闭LVS-server-master服务 service keepalived stop

在BACKUP上ip a 查看，可以看到VIP漂移到BACKUP上了。

用curl 访问不影响访问网站不受影响。

本文转自 hawapple 51CTO博客，原文链接:http://blog.51cto.com/guanm/1980089

码农公寓

相关文章