常见的web集群调度器
目前常见的web集群调度器分为软件和硬件
软件通常使用开源的LVS、Haproxy、Nginx
硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等
Haproxy应用分析
LVS在企业应用中抗负载能力很强,但存在不足
? LVS不支持正则处理,不能实现动静分离
? 对于大型网站,LVS的实施配置复杂,维护成本相对较高
Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理软件
? 适用于负载大的web站点
? 运行在硬件上可支持数以万计的并发连接的连接请求
Haproxy调度算法原理
Haproxy 支持多种调度算法,最常用的有三种
1、RR(Round Robin)
RR算法是最简单最常用的一种算法,即轮询调度
例如:
? 有三个节点A、B、C
? 第一个用户访问会被指派到节点A
? 第一个用户访问会被指派到节点B
? 第一个用户访问会被指派到节点C
? 第四个用户访问会被指派到节点A,轮询分配访问请求实现负载均衡效果
2、LC(Least Connections)
最小连接数算法,根据后端的节点连接数大小动态分配前端请求
例如:
? 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6
? 第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、 C:6
? 第二个用户请求会继续分配到A上,连接数变为A:6、B:5、 C:6; 再有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端
? 由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况
? 此算法相比较rr算法有很大改进,是目前用到比较多的一-种算法
3、SH(Source Hashing)
基于来源访问调度算法,用于一些有Session会记录在服务器端的场景,可以基于来源的IP、Cookie等做集群调度
例如:
? 有三个节点A、B、C,第一个用户第一次访问被指派到了A,第二个用户第一次访问被指派到了B
? 当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡调度器不重启,第一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度
? 此调度算法好处是实现会话保持,但某些IP访问量非常大时会引|起负载不均衡,部分节点访问量超大,影响业务使用
Haproxy的主要特性
-
可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美;
-
最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s;
-
支持多达8种负载均衡算法,同时也支持会话保持;
-
支持虚机主机功能,从而实现web负载均衡更加灵活;
-
支持连接拒绝、全透明代理等独特的功能;
-
拥有强大的ACL支持,用于访问控制;
-
其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了0(1),即数据的查寻速度不会随着数据条目的增加而速度有所下降;
-
支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在一个tcp连接中完成;
-
支持TCP加速,零复制功能,类似于mmap机制;
-
支持响应池 (response buffering);
-
支持RDP协议;
-
基于源的粘性,类似nginx的ip hash功能,把来自同一客户端的请求在一定时间内始终调度到上游的同一服务器;
-
更好统计数据接口,其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
-
详细的健康状态检测,web接口中有关于对上游服务器的健康检测状态, 并提供了一定的管理功能;
-
基于流量的健康评估机制;
-
基于http认证;
-
基于命令行的管理接口;
-
日志分析器,可对日志进行分析
Haproxy常见的负载均衡策略
-
roundrobin∶表示简单的轮询。
-
static-rr∶表示根据权重。
-
leastconn∶ 表示最少连接者先处理。
-
source∶ 表示根据请求的源IP,类似Nginx的IP hash机制。
-
ri∶表示根据请求的URI。
-
rl_param∶表示根据HTTP请求头来锁定每 一 次HTrTP请求。
-
rdp-cookie (name)∶表示根据据cookie (name)来锁定并哈希每一次TCP请求。
LVS、Nginx、HAproxy的区别
LVS基于Linux操作系统实现软负载均衡,而HAProxy和Nginx是基于第三方应用实现的软负载均衡;
LVS是可实现4层的IP负载均衡技术,无法实现基于目录、URL的转发。而HAProxy和Nainx都可以实现4层和7层技术,HAProxy可提供TCP和HrTP应用的负载均衡综合解决方案
LVS因为工作在ISO模型的第四层,其状态监测功能单一, 而HAProxy在状监测方面功能更丰富、强大, 可支持端口、URL、脚本等多种状态检测方式;
HAProxy功能强大,但整体性能低于4层模式的LVS 负载均衡。
Nginx主要用于Web服务器或缓存服务器。
Haproxy集群的构建
准备工作:
Haproxy服务器:192.168.247.40
Nginx 服务器1:192.168.247.10
Nginx 服务器2:192.168.247.20
客户端:192.168.80.88
1.关闭防火墙,将安装Haproxy所需软件包传到/opt目录下
2.编译安装 Haproxy
3.Haproxy服务器配置
4.添加haproxy 系统服务
配置两台节点服务器
haproxy 查看 集群状态
关闭192.168.247.10的nginx
关闭192.168.247.20的nginx
访问测试
配置Haproxy 的监控页面与 Haproxy 的日志自定义
配置Haproxy 的监控页面
-
Queue队列数据的信息(当前队列数量,最大值,队列限制数量);
-
Session rate每秒会话率(当前值,最大值,限制数量);
-
Sessions总会话量(当前值,最大值,总量,Lbtot: total number of times a server was selected选中一台服务器所用的总时间);
-
Bytes(入站、出站流量);
-
Denied(拒绝请求、拒绝回应);
-
Errors(错误请求、错误连接、错误回应);
-
Warnings(重新尝试警告retry、重新连接redispatches);
-
Server (状态、最后检查的时间(多久前执行的最后一次检查)、权重、备份服务器数量、down机服务器数量、down机时长)
Haproxy 日志自定义
默认haproxy 的日志是输出到 系统的系统日志中,使用不是非常方便。为了更好的管理haproxy的日志,可以将haproxy的日志单独定义出来。需要修改 rsyslog 配置,为了方便管理,将haproxy 相关的配置独立定义到haproxy.conf中,并放到/etc/rsyslog.d/下,rsyslog启动时,会自动加载此目录下的所有配置文件