一、 介绍
keepalived:是一个类似于 layer3, 4 & 7 交换机制的软件,也就是我们平时说的第 3 层、第 4 层和第 7层交换。 Keepalived 的作用是检测 web 服务器的状态,如果有一台 web 服务器死机,或工作出现故障,Keepalived 将检测到,并将有故障的 web 服务器从系统中剔除,当 web 服务器工作正常后 Keepalived 自动将web 服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需要人工做的只是修复故障的web 服务器。
keepalived程序是vrrp协议在linux主机上以守护进程方式的实现,能够根据配置文件生成IPVS规则 ,并对各real server的健康做检测,以及Loadbalance主机和backup主机之间failover的实现,keepalived在Centos6.4+收录到了发行版光盘中
keepalived 理论工作原理
Layer3,4&5 工作在 IP/TCP 协议栈的 IP 层, TCP 层,及应用层,。
原理分别如下:
Layer3: Keepalived 使用 Layer3 的方式工作式时, Keepalived 会定期向服务器群中的服务器发送一个 ICMP 的数据包(既我们平时用的 Ping 程序) , 如果发现某台服务的 IP 地址没有激活,
Keepalived 便报告这台服务器失效,并将它从服务器群中剔除,这种情况的典型例子是某台服务器被非法关机。
Layer3 的方式是以服务器的 IP 地址是否有效作为服务器工作正常与否的标准。
Layer4: 主要以 TCP 端口的状态来决定服务器工作正常与否。如 web server 的服务端口一般是
80,如果 Keepalived 检测到 80 端口没有启动,则 Keepalived 将把这台服务器从服务器群中删除。
Layer7:Layer5 就是工作在具体的应用层了,比 Layer3,Layer4 要复杂一点,在网络上占用的带宽也要大一些。
Keepalived 将根据用户的设定检查服务器程序的运行是否正常,如果与用户的设定不相符,则
Keepalived 将把服务器从服务器群中剔除。
比如说访问一个页面,它有没有这个页面,没有的话,它就会把它踢除啊
keepalived作用:
1.管理 VIP(虚拟IP) VIP 会在 LVS 之间漂移
2.监控 LVS分发器
运行在主分发的 Keepalived 会以组播的形式向网络中宣告自己,即主分发器还活着,备用节点能收到。当备用节点,在一个时间单位中收不到组播,备用节点会认为主 LVS 挂了,开始接手主分发器工作,把 VIP 配给自己。
3.管理 RS
Keepalived 会每隔一个时间段去做一次类似于访问的操作如:
探针: elinks
http://192.168.3.64 -dump
keepalived
官网
http://www.keepalived.org/
LVS:Linux
Virtual Server的简写,意即Linux虚拟服务器,是一个虚拟的服务器集群系统,此项目在1998年5月由章文嵩博士成立,是中国国内最早出现的*软件项目之一。
中文官方网站:http://zh.linuxvirtualserver.org/ http://www.linux-vs.org/zh/
二、keepalived+lvs-DR模式配置高可用负载均衡
拓扑如下:
IP地址与主机分配如下 :
机器角色 |
机器IP |
网关 |
机器作用 |
xuegod63 |
RIP:192.168.1.63/24 |
192.168.1.1 |
RS1- |
xuegod64 |
RIP:192.168.1.64/24 |
192.168.1.1 |
RS2- |
xuegod66 |
DIP:192.168.1.66/24 VIP:192.168.1.200/24 |
192.168.1.1 |
主-LVS |
xuegod67 |
DIP:192.168.1.67/24 VIP:192.168.1.200/24 |
192.168.1.1 |
备-LVS |
二、 在master和bakcup分别安装ipvsadm和keepalived软件包
注:安装完成ipvsadm后不需要任何配置,启动方式由keepalived来控制
keepalived包下载地址:http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
ipvsadm包自带系统光盘中含有
1.在master上面安装
安装ipvsadm
[root@xuegod66
~]# cd /media/Packages/
[root@xuegod66
Packages]# rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm
warning:
ipvsadm-1.26-2.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51:
NOKEY
Preparing...
########################################### [100%]
1:ipvsadm
########################################### [100%]
[root@xuegod66
Packages]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port
Scheduler Flags
-> RemoteAddress:Port
Forward Weight ActiveConn InActConn
检查模版是否加入了内核
[root@xuegod66
Packages]# lsmod | grep ip_vs
ip_vs
125220 0
libcrc32c
1246 1 ip_vs
ipv6
317340 158 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
安装keepalived
[root@xuegod66
tmp]# wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
[root@xuegod66
tmp]# tar zxf keepalived-1.2.16.tar.gz
[root@xuegod66
tmp]# cd keepalived-1.2.16
[root@xuegod66
keepalived-1.2.16]# ./configure
--prefix=/usr/local/keepalived
Keepalived
configuration
------------------------
Keepalived
version : 1.2.16
Compiler
: gcc
Compiler
flags : -g -O2
Extra
Lib
: -lssl -lcrypto -lcrypt
Use IPVS
Framework : Yes
IPVS sync daemon
support : Yes
IPVS use
libnl : No
fwmark socket
support : Yes
Use VRRP
Framework : Yes
Use VRRP
VMAC : Yes
SNMP
support
: No
SHA1
support
: No
Use Debug
flags : No
拓展:VRRP
虚拟路由冗余协议(Virtual Router
Redundancy Protocol,简称VRRP)是由IETF提出的解决局域网中配置静态网关出现单点失效现象的路由协议。使用组播方式通信。
VRRP是一种路由容错协议,也可以叫做备份路由协议。一个局域网络内的所有主机都设置缺省路由(默认网关),当网内主机发出的目的地址不在本网段时,报文将被通过缺省路由发往外部路由器,从而实现了主机与外部网络的通信。当缺省路由器down掉(即端口关闭)之后,内部主机将无法与外部通信,如果路由器设置了VRRP时,那么这时,虚拟路由将启用备份路由器,从而实现全网通信。所有局域网中的PC机,默认网关为10.1.1.13!
工作流程如图:
[root@xuegod66
keepalived-1.2.16]# make && make install
查看安装后生成的文件:
[root@xuegod66
keepalived-1.2.16]# ls /usr/local/keepalived/
bin etc
sbin share
主配置文件:
[root@xuegod66
]# ls
/usr/local/keepalived/etc/keepalived/keepalived.conf
/usr/local/keepalived/etc/keepalived/keepalived.conf
建立启动脚本:
[root@xuegod66
~]# cp
/usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d
查看有没有执行权限,如果没有要给它一个执行权限
[root@xuegod66
~]# ll /etc/init.d/keepalived
-rwxr-xr-x 1 root root
1308 8月 9 15:34 /etc/init.d/keepalived
因为我们使用的是非默认路径(/usr/local)安装keepalived,所以需要修改启动文件几处地方,以保证keepalived能够正常启动,需要修改的文件如下:
[root@xuegod66
~]# vi /etc/init.d/keepalived
# Source configuration
file (we set KEEPALIVED_OPTIONS there)
#.
/etc/sysconfig/keepalived #注释掉
RETVAL=0
prog="keepalived"
exec="/usr/local/keepalived/sbin/keepalived"
#添加
config="/usr/local/keepalived/etc/keepalived/keepalived.conf"
#添加
start() {
echo
-n $"Starting $prog: "
daemon keepalived ${KEEPALIVED_OPTIONS} àà原来这一行改为下面这样写法
daemon $exec -D -f $config
RETVAL=$?
echo
[
$RETVAL -eq 0 ] && touch /var/lock/subsys/$prog
}
[root@xuegod66
~]# service keepalived restart
切勿忘记将此服务设置为开机启动
[root@xuegod66
~]# chkconfig keepalived on
默认的配置文件中,指定了三个数个虚拟IP : 192.168.200.16 192.168.200.17 192.168.200.18
[root@xuegod66
~]# ip addr
……….
2: eth0:
<BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP qlen
1000
link/ether 00:0c:29:62:21:a6 brd ff:ff:ff:ff:ff:ff
inet
192.168.1.66/24 brd 192.168.1.255 scope global eth0
inet
192.168.200.16/32 scope global eth0
inet
192.168.200.17/32 scope global eth0
inet
192.168.200.18/32 scope global eth0
inet6
fe80::20c:29ff:fe62:21a6/64 scope link
到此我们就安装成功了
实战1:使用keepalived配置LVS-DR
主-备高可用集群模式
描述:
在这种模式下,虚拟IP在某时刻只能属于某一个节点,另一个节点作为备用节点存在。当主节点不可用时,备用节点接管虚拟IP,提供正常服务。
配置参数:
节点 xuegod66(主节点); 节点 xuegod67(备用节点)
; 虚拟 IP 192.168.1.200对外提供服务的 IP。 要求默认情况下由节点 xuegod66 提供服务,当节点 xuegod66 不可用时,由节点 xuegod67 提供服务(即虚拟 IP 漂移至节点
xuegod67)
配置xuegod66为keepalived主:
[root@xuegod66
keepalived]# vim etc/keepalived/keepalived.conf
! Configuration File
for keepalived
global_defs {
notification_email {
xuegod@localhost
}
notification_email_from xuegod@localhost
smtp_server localhost
smtp_connect_timeout 30
router_id
xuegod66
}
vrrp_instance apache {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200
}
}
virtual_server
192.168.1.200 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.0
persistence_timeout 50
protocol TCP
real_server 192.168.1.63 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.1.64 80 {
weight 1
TCP_CHECK {
connect_timeout 3
nb_get_retry
3
delay_before_retry 3
connect_port 80
}
}
}
#默认配置文件中还有两个 virtual_server 模版,把剩下的都删除了,就可以。 如:
#virtual_server
10.10.10.2 1358 { 。。。 }
#virtual_server
10.10.10.3 1358 { 。。。 }
配置文件说明
Global configuration : 全局配置
global_defs{
…
}
VRRP Configuration : 配置VRRP实例
vrrp_instance name{
…
}
LVS Configuration : IPVS的相关配置
virtual_server ip port {
…
real_server
ip port {
…
}
}
#全局定义部分 global_defs notification_email { dba.gao@gmail.com #设置报警邮件地址,收件人邮箱,可以设置多个,每行一个。注意,如果要开启邮件报警,需要开启本机的sendmail服务。 ixdba@163.com } notification_email_from Keepalived@localhost #发件人邮箱。 smtp_server 192.168.200.1 #设置smtp server地址。 smtp_connect_timeout 30 #设置连接smtp服务器超时时间。 router_id LVS_MASTER #运行Keepalived服务器的一个标识。建议写主机名 } #vrrp实例定义部分 vrrp_instance state MASTER interface eth0 #指定HA监测网络的接口。 virtual_router_id 51 #虚拟路由标识,这个标识是一个数字,并且同一个vrrp实例使用唯一的标识,即同一个vrrp_instance下,MASTER和BACKUP必须是一致的。 priority advert_int 1 #设定MASTER与BACKUP负载均衡器之间同步检查的时间间隔,单位是秒。 authentication { #设定验证类型和密码。 auth_type PASS #设置验证类型,主要有PASS和AH两种。 auth_pass 1111 #设置验证密码,在一个vrrp_instance下,MASTER与BACKUP必须使用相同的密码才能正常通信。 } virtual_ipaddress { #设置虚拟IP地址,可以设置多个虚拟IP地址,每行一个。 192.168.12.135 } } #虚拟服务器定义部分 virtual_server delay_loop 6 #设置健康检查时间,单位是秒。 lb_algo rr lb_kind persistence_timeout protocol TCP #指定转发协议类型,有tcp和udp两种。 real_server weight TCP_CHECK { #realserve的状态检测设置部分,单位是秒 connect_timeout 10 #10秒无响应超时 nb_get_retry 3 delay_before_retry 3 #重试间隔 } } real_server 192.168.12.237 80 { weight 1 TCP_CHECK { connect_timeout 3 nb_get_retry delay_before_retry 3 } } } |
[root@xuegod66
keepalived]# service keepalived restart
测试是否可以加载VIP地址
[root@xuegod66
keepalived]# ipvsadm -L –n
IP Virtual
Server version 1.2.1(size=4096)
Prot
LocalAddress:Port Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
TCP 192.168.1.200:80
rr persistent 50
#注:没有看到 realserver,是因为两台
realserver 没有开启 httpd 服务。
2.在bakcup上面安装
[root@xuegod67
Packages]# rpm -ivh ipvsadm-1.26-2.el6.x86_64.rpm
warning:
ipvsadm-1.26-2.el6.x86_64.rpm: Header V3 RSA/SHA256 Signature, key ID fd431d51:
NOKEY
Preparing...
########################################### [100%]
1:ipvsadm
########################################### [100%]
[root@xuegod67
Packages]# ipvsadm
IP Virtual Server version 1.2.1 (size=4096)
Prot LocalAddress:Port
Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
检查模版是否加入了内核
[root@xuegod67
Packages]# lsmod|grep ip_vs
ip_vs
125220 0
libcrc32c
1246 1 ip_vs
ipv6
317340 158 ip_vs,ip6t_REJECT,nf_conntrack_ipv6,nf_defrag_ipv6
安装keepalived
[root@xuegod67
~]# wget http://www.keepalived.org/software/keepalived-1.2.16.tar.gz
[root@xuegod67
~]# tar zxf keepalived-1.2.16.tar.gz
[root@xuegod67
~]# cd keepalived-1.2.16
[root@xuegod67
keepalived-1.2.16]# ./configure --prefix=/usr/local/keepalived
Keepalived
configuration
------------------------
Keepalived
version : 1.2.16
Compiler
: gcc
Compiler
flags : -g -O2
Extra
Lib
: -lssl -lcrypto -lcrypt
Use IPVS
Framework : Yes
IPVS sync daemon
support : Yes
IPVS use
libnl : No
fwmark socket
support : Yes
Use VRRP
Framework : Yes
Use VRRP
VMAC : Yes
SNMP
support
: No
SHA1
support
: No
Use Debug
flags : No
[root@xuegod67
keepalived-1.2.16]# make && make install
将xuegod66上的启动文件和配置文件复制到xuegod67的相应位置
[root@xuegod66
~]# scp /etc/init.d/keepalived xuegod67:/etc/init.d/
[root@xuegod66
~]# scp
/usr/local/keepalived/etc/keepalived/keepalived.conf
xuegod67:/usr/local/keepalived/etc/keepalived/
复制过来的启动文件就不需要再修改了,配置文件还要做一定的修改
[root@xuegod67
~]# vi
/usr/local/keepalived/etc/keepalived/keepalived.conf
global_defs {
notification_email {
root@localhost
}
notification_email_from root@localhost
smtp_server localhost
smtp_connect_timeout 30
router_id xuegod67 #运行 keepalived 的机器标示符
}
vrrp_instance apache {
state BACKUP
#当前 LVS 状态为从分发器
interface eth0
virtual_router_id 51
priority 90
#前 LVS 优先级,备的要比主的小
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.1.200
}
}
……………………
[root@xuegod67 keepalived]# service
keepalived restart
测试:高可用
[root@xuegod66 keepalived]# /etc/init.d/keepalived stop #xueogd66上停止keepalived
[root@xuegod67 keepalived]# ip addr
……
2:
eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state
UP qlen 1000
link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:feae:406/64 scope link
valid_lft forever preferred_lft forever
[root@xuegod67 keepalived]# ipvsadm -L –n
IP
Virtual Server version 1.2.1(size=4096)
Prot
LocalAddress:Port Scheduler Flags
-> RemoteAddress:Port
Forward Weight ActiveConn InActConn
TCP
192.168.1.200:80 rr persistent 50
#看到192.168.1.63飘移过来了,就证明一切正常了
或查看日志:
[root@xuegod61
~]# tail -f /var/log/messages
三、配置WEB服务器
配置RS1
[root@xuegod63
~]# vim /etc/init.d/lvsrsdr
#!/bin/bash
#description:start
relserver
VIP=192.168.1.200
source
/etc/init.d/functions
#加载环境变量(可以加载所有的环境变量)
case $1 in
start)
echo 'start LVS of Realserver DR'
/sbin/ifconfig lo:1 $VIP broadcast $VIP netmask 255.255.255.255 up
/sbin/route add -host $VIP dev lo:1
echo '1' > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo '2' > /proc/sys/net/ipv4/conf/lo/arp_announce
echo '1' > /proc/sys/net/ipv4/conf/all/arp_ignore
echo '2' > /proc/sys/net/ipv4/conf/all/arp_announce
;;
stop)
/sbin/ifconfig lo:1 down
echo 'Close LVS of Realserver DR'
echo '0' > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo '0' > /proc/sys/net/ipv4/conf/lo/arp_announce
echo '0' > /proc/sys/net/ipv4/conf/all/arp_ignore
echo '0' > /proc/sys/net/ipv4/conf/all/arp_announce
;;
*)
echo
"Usage:$0(start|stop)"
exit 1
esac
[root@xuegod63 ~]# /etc/init.d/lvsrsdr start
[root@xuegod63 ~]# echo "/etc/init.d/lvsrsdr start " >
/etc/rc.local
[root@xuegod63 ~]# ip addr
1: lo:
<LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1
inet6 ::1/128 scope host
valid_lft forever preferred_lft forever
[root@xuegod63 ~]# yum install -y httpd
[root@xuegod63 ~]# service httpd restart
[root@xuegod63 ~]# echo 192.168.1.63 > /var/www/html/index.html
[root@xuegod63 ~]# service httpd restart
配置RS2
[root@xuegod64 ~]# scp /etc/init.d/lvsrsdr 192.168.1.64:/etc/init.d
#从Xuegod63上导入脚本
[root@xuegod64 ~]# /etc/init.d/lvsrsdr start
[root@xuegod64 ~]# echo "/etc/init.d/lvsrsdr start " >
/etc/rc.local
[root@xuegod64 ~]# ip addr
1: lo:
<LOOPBACK,UP,LOWER_UP> mtu 16436 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
inet 192.168.1.200/32 brd 192.168.1.200 scope global lo:1
inet6 ::1/128 scope host
[root@xuegod64 ~]# yum install -y httpd php
[root@xuegod64 ~]# echo 192.168.1.64 > /var/www/html/index.html
[root@xuegod64 ~]# service httpd restart
测试
我们先清空浏览器缓存
等待50S之后再看一下
测试:主备切换
首先在主上Xueogd66查看状态
[root@xuegod66 keepalived]# ipvsadm -L -n
IP
Virtual Server version 1.2.1 (size=4096)
Prot
LocalAddress:Port Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
TCP
192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80
Route 1
0
0
->
192.168.1.64:80
Route 1
0 14
在备上查看Xuegod67的状态
[root@xuegod64 keepalived]# ipvsadm -L -n
IP
Virtual Server version 1.2.1 (size=4096)
Prot
LocalAddress:Port Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
[root@xuegod66 keepalived]# service
keepalived stop //在xuegod66上停掉keepalived模拟故障,在查看xuegod67
[root@xuegod67 keepalived]# ipvsadm -L –n
IP
Virtual Server version 1.2.1 (size=4096)
Prot
LocalAddress:Port Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
TCP
192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80
Route 1
0
0
->
192.168.1.64:80
Route 1
0 0
[root@xuegod67 keepalived]# ip addr
……
2:
eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state
UP qlen 1000
link/ether 00:0c:29:ae:04:06 brd ff:ff:ff:ff:ff:ff
inet 192.168.1.67/24 brd 192.168.1.255 scope global eth0
inet 192.168.1.200/32 scope global eth0
inet6 fe80::20c:29ff:feae:406/64 scope link
valid_lft forever preferred_lft forever
从日志看:
[root@xuegod67 keepalived]# tailf /var/log/messages
当我们重启了主上的keepalived,自动从备分发器转到主分发器上。因为备的优先级低。
[root@xuegod66 keepalived]# service keepalived restart
测试RS容错
停掉Xueogd64的httpd之后xuegod63查看
[root@xuegod63 keepalived]# ipvsadm -L -n
IP
Virtual Server version 1.2.1 (size=4096)
Prot
LocalAddress:Port Scheduler Flags
->
RemoteAddress:Port
Forward Weight ActiveConn InActConn
TCP
192.168.1.200:80 rr persistent 50
-> 192.168.1.63:80
Route 1
0 0
打开主 LVS 的日志(/var/log/message),使其滚动从 LVS 中移除。答案都是提示的。
使用 ipvsadm
-ln 可以看到刚才关闭的那台机器的 IP不在列表中了。
当 keepalived 主从优先级一样时,当主恢复后,还是要回切资源的。第一次建立主从关系时,需要10s 左右的认证时间。
常见错误
1:编译报错
由提示可以看到,没有发现 gcc cc 编译工具,只需要安装即可。
解决方法:
#yum install gcc gcc-c++
2:编译完成还不支持
解决方法: 内核源码做软链接,查看是否有内核源码
#ls
/usr/src/kernels/ #yum install
kernel-devel ipvsadm
#ln -s
/usr/src/kernels/2.6.32-220.el6.x86_64/ /usr/src/linux
//上面 ln 软链接时源地址根据系统版本的不同,目录名也不同
视频讲课:链接:https://pan.baidu.com/s/1o79mNEi 密码:请在评论处留下邮箱,统一发送