keepalived结合nginx实现nginx高可用

1.简介

Keepalived 是一个基于VRRP协议来实现的LVS服务高可用方案,可以利用其来避免单点故障。一个LVS服务会有2台服务器运行Keepalived,一台为主服务器(MASTER),一台为备份服务器(BACKUP),但是对外表现为一个虚拟IP,主服务器会发送特定的消息给备份服务器,当备份服务器收不到这个消息的时候,即主服务器宕机的时候, 备份服务器就会接管虚拟IP,继续提供服务,从而保证了高可用性。Keepalived是VRRP的完美实现,因此在介绍keepalived之前,先介绍一下VRRP的原理。

1.VRRP 协议简介

在现实的网络环境中,两台需要通信的主机大多数情况下并没有直接的物理连接。对于这样的情况,它们之间路由怎样选择?主机如何选定到达目的主机的下一跳路由,这个问题通常的解决方法有二种:

  • 在主机上使用动态路由协议(RIP、OSPF等)

  • 在主机上配置静态路由

很明显,在主机上配置动态路由是非常不切实际的,因为管理、维护成本以及是否支持等诸多问题。配置静态路由就变得十分流行,但路由器(或者说默认网关default gateway)却经常成为单点故障。VRRP的目的就是为了解决静态路由单点故障问题,VRRP通过一竞选(election)协议来动态的将路由任务交给LAN中虚拟路由器中的某台VRRP路由器。

2.VRRP 工作机制

在一个VRRP虚拟路由器中,有多台物理的VRRP路由器,但是这多台的物理的机器并不能同时工作,而是由一台称为MASTER的负责路由工作,其它的都是BACKUP,MASTER并非一成不变,VRRP让每个VRRP路由器参与竞选,最终获胜的就是MASTER。MASTER拥有一些特权,比如,拥有虚拟路由器的IP地址,我们的主机就是用这个IP地址作为静态路由的。拥有特权的MASTER要负责转发发送给网关地址的包和响应ARP请求。

VRRP通过竞选协议来实现虚拟路由器的功能,所有的协议报文都是通过IP多播(multicast)包(多播地址224.0.0.18)形式发送的。虚拟路由器由VRID(范围0-255)和一组IP地址组成,对外表现为一个周知的MAC地址。所以,在一个虚拟路由 器中,不管谁是MASTER,对外都是相同的MAC和IP(称之为VIP)。客户端主机并不需要因为MASTER的改变而修改自己的路由配置,对客户端来说,这种主从的切换是透明的。

在一个虚拟路由器中,只有作为MASTER的VRRP路由器会一直发送VRRP通告信息(VRRPAdvertisement message),BACKUP不会抢占MASTER,除非它的优先级(priority)更高。当MASTER不可用时(BACKUP收不到通告信息), 多台BACKUP中优先级最高的这台会被抢占为MASTER。这种抢占是非常快速的(<1s),以保证服务的连续性。由于安全性考虑,VRRP包使用了加密协议进行加密。

3.VRRP 工作流程

(1).初始化:    
路由器启动时,如果路由器的优先级是255(最高优先级,路由器拥有路由器地址),要发送VRRP通告信息,并发送广播ARP信息通告路由器IP地址对应的MAC地址为路由虚拟MAC,设置通告信息定时器准备定时发送VRRP通告信息,转为MASTER状态;否则进入BACKUP状态,设置定时器检查定时检查是否收到MASTER的通告信息。

(2).Master

  • 设置定时通告定时器;

  • 用VRRP虚拟MAC地址响应路由器IP地址的ARP请求;

  • 转发目的MAC是VRRP虚拟MAC的数据包;

  • 如果是虚拟路由器IP的拥有者,将接受目的地址是虚拟路由器IP的数据包,否则丢弃;

  • 当收到shutdown的事件时删除定时通告定时器,发送优先权级为0的通告包,转初始化状态;

  • 如果定时通告定时器超时时,发送VRRP通告信息;

  • 收到VRRP通告信息时,如果优先权为0,发送VRRP通告信息;否则判断数据的优先级是否高于本机,或相等而且实际IP地址大于本地实际IP,设置定时通告定时器,复位主机超时定时器,转BACKUP状态;否则的话,丢弃该通告包;

(3).Backup

  • 设置主机超时定时器;

  • 不能响应针对虚拟路由器IP的ARP请求信息;

  • 丢弃所有目的MAC地址是虚拟路由器MAC地址的数据包;

  • 不接受目的是虚拟路由器IP的所有数据包;

  • 当收到shutdown的事件时删除主机超时定时器,转初始化状态;

  • 主机超时定时器超时的时候,发送VRRP通告信息,广播ARP地址信息,转MASTER状态;

  • 收到VRRP通告信息时,如果优先权为0,表示进入MASTER选举;否则判断数据的优先级是否高于本机,如果高的话承认MASTER有效,复位主机超时定时器;否则的话,丢弃该通告包;

4.ARP查询处理

当内部主机通过ARP查询虚拟路由器IP地址对应的MAC地址时,MASTER路由器回复的MAC地址为虚拟的VRRP的MAC地址,而不是实际网卡的 MAC地址,这样在路由器切换时让内网机器觉察不到;而在路由器重新启动时,不能主动发送本机网卡的实际MAC地址。如果虚拟路由器开启的ARP代理 (proxy_arp)功能,代理的ARP回应也回应VRRP虚拟MAC地址。

2.搭建环境

  1. 服务器1:10.63.0.154  安装keeplived并设置priority 优先值为100
  2. 服务器2:10.63.0.155  安装keeplived并设置priority 优先值为98
  3. 设置两台服务器对应的虚拟ip为:10.63.0.158

3.安装keepalived主节点

在服务器上安装nginx,安装方法可参考文章:FastDFS教程Ⅰ-文件服务器安装与Nginx配置。本次安装keepalived采用yum的模式,在服务器1上安装,主要操作步骤如下:

  1. 安装ipvsadm,指令:yum install ipvsadm,安装完成后,可通过指令ipvsadm –v查看版本号。
  2. 安装keepalived,指令:yum install keepalived,安装完成后,可通过指令Keepalived –v查看版本号。
  3. 创建/usr/local/nginx/nginx_check.sh脚本。脚本内容如下:
    #!/bin/bash
    #判断nginx服务是否启动,如果不存在,调用nginx启用命令,并停止2秒,若#启动失败,杀掉keepalived
    A=`ps -C nginx --no-header |wc -l`
    if [ $A -eq 0 ];then
    /usr/sbin/nginx
    sleep 2
    if [ `ps -C nginx --no-header |wc -l` -eq 0 ];then
    killall keepalived
    fi
    fi

    设置nginx_check.sh权限,设置命令为:chmod  777   /usr/local/nginx/nginx_check.sh

  4. 配置keepalived节点信息,默认配置文件为/etc/keepalived/keepalived.conf。keepalived.conf配置文件如下:
    ! Configuration File for keepalived
    
    global_defs {
    router_id nginx_master154
    } vrrp_script chk_nginx {
    script "/usr/local/nginx/nginx_check.sh"
    interval 2
    weight 20
    }
    vrrp_instance VI_1 {
    state MASTER
    interface eth0
    virtual_router_id 154
    mcast_src_ip 10.63.0.154
    priority 100
    nopreempt
    advert_int 1
    authentication {
    auth_type PASS
    auth_pass 1111
    }
    track_script {
    chk_nginx
    }
    virtual_ipaddress {
    10.63.0.158
    }
    }
    }

    配置文件关键参数说明:

  • router_id   //定义节点名称
  • vrrp_script chk_nginx {    script "/etc/keepalived/nginx_check.sh"     interval 2     weight -20  }    //每隔2秒中去执行/etc/keepalived/nginx_check.sh脚本一次,这项检查从开始便一直进行,interval表示间隔时间,weight -20的意思是,脚本执行当判断异常时,把10.63.0.154这个节点的优先级降低20。
  • state MASTER   //表示该节点角色定义为MASTER
  • virtual_router_id 154  //定义虚拟的节点标识
  • interface eth0   //定义网卡名称 查看服务器网卡名称可通过指令:ifconfig或者ip  a,如图:
  • keepalived结合nginx实现nginx高可用

以上配置文件完成后,启动nginx,启动keepalived,可测试nginx是否可被虚拟ip地址访问。启动keepalived指令:systemctl start keepalived.service,启动后可通过指令 systemctl status keepalived.service查看状态。利用虚拟ip访问nginx主界面截图如下:

keepalived结合nginx实现nginx高可用

3.安装keepalived备用节点

在服务器2上面安装keepalived的方法和服务器1完全一样,在keepalived.conf配置文件中只需修改三个地方:

  • interface eth0   //定义网卡名称 查看服务器2的网卡 如网卡名称为 eno24 ,则定义为:interface eno24
  • priority  //优先值设置为98
  • mcast_src_ip 10.63.0.155

两台服务器上面的keepalived安装成功后,通过虚拟ip10.63.0.158调用测试,发现始终是主节点的页面,不会调用备用节点的页面。设置把服务器1上面的keepalived关闭后,再次调用,会出现备用节点的主界面,如下图:

keepalived结合nginx实现nginx高可用

4.Linux服务管理工具systemctl

Linux中,有service和chkconfig两个命令管理服务。systemctl 是管理服务的主要工具, 它整合了chkconfig 与 service功能于一体。(可以通过该命令管理yum安装软件,同时设置是否开机启动)

  • systemctl is-enabled servicename.service #查询服务是否开机启动
  • systemctl enable *.service #开机运行服务
  • systemctl disable *.service #取消开机运行
  • systemctl start *.service #启动服务
  • systemctl stop *.service #停止服务
  • systemctl restart *.service #重启服务
  • systemctl reload *.service #重新加载服务配置文件
  • systemctl status *.service #查询服务运行状态
  • systemctl --failed #显示启动失败的服务

注:*代表某个服务的名字,如http的服务名为httpd

例如在CentOS 7 上安装http

[root@CentOS7 ~]# yum -y install httpd

  • 启动服务(等同于service httpd start)  systemctl start httpd.service
  • 停止服务(等同于service httpd stop)  systemctl stop httpd.service
  • 重启服务(等同于service httpd restart) systemctl restart httpd.service
  • 查看服务是否运行(等同于service httpd status) systemctl status httpd.service

  • 开机自启动服务(等同于chkconfig httpd on)  systemctl enable httpd.service
  • 开机时禁用服务(等同于chkconfig httpd on) systemctl disable httpd.service

    ps -ef | grep
    nginx #查看服务进程

  • #非systemctl配置开机启动:chmod +x /etc/rc.d/rc.local
  • #打开rc.localvi /etc/rc.local
  • #加入启动脚本其中路径一定要用全路径如:/usr/local/nginx/sbin/nginx
上一篇:数字化转型:敏捷和DevOps如何降低风险,提高速度


下一篇:DevOps时代,企业数字化转型需要强大的工具链