一、常见的Web集群调度器
目前常见的Web集群调度器分为软件和硬件
软件通常使用开源的LVS、Haproxy、Nginx
- LVS性能最好,但是搭建相对复杂;Nginx的upstream模块支持群集功能,但是对群集节点健康检查功能不强,高并发性能没有Haproxy好。
硬件一般使用比较多的是F5,也有很多人使用国内的一些产品,如梭子鱼、绿盟等
二、Haproxy应用分析
LVS在企业应用中抗负载能力很强,但存在不足
- LVS不支持正则处理,不能实现动静分离
- 对应大型网站,LVS的实施配置复杂,维护成本相对较高
Haproxy是一款可提供高可用性、负载均衡、及基于TCP和HTTP应用的代理的软件
- 适用于负载大的Web站点
- 运行在硬件上可支持数以万计的并发连接的连接请求
三、Haproxy调度算法原理
1、RR (Round Robin)- RR算法是最简单最常用的一种算法,即轮询调度
- 有三个节点A、B、C
- 第一个用户访问会被指派到节点A
- 第二个用户访问会被指派到节点B
- 第三个用户访问会被指派到节点C
- 第四个用户访问继续指派到节点A,轮询分配访问请求实现负载均衡效果
2、LC (Least Connections)
- 最小连接数算法,根据后端的节点连接数大小动态分配前端请求
- 有三个节点A、B、C,各节点的连接数分别为A:4、B:5、 C:6
- 第一个用户连接请求,会被指派到A上,连接数变为A:5、B:5、C:6
- 第二个用户请求会继续分配到A上,连接数变为A:6、B:5、 C:6;再
- 有新的请求会分配给B,每次将新的请求指派给连接数最小的客户端
- 由于实际情况下A、B、C的连接数会动态释放,很难会出现一样连接数的情况
- 此算法相比较rr算法有很大改进,是目前用到比较多的一种算法
3、SH (Source Hashing)
- 基于来源访问调度算法,用于一些有Session会话记录在服务器端的场景,可以
- 基于来源的IP、Cookie等做集群调度
- 有三个节点A、B、C,第一个用户第一-次访问被指派到了A,第二个用户第一次访问被指派到了B
- 当第一个用户第二次访问时会被继续指派到A,第二个用户第二次访问时依旧会被指派到B,只要负载均衡调度器不重启,第一一个用户访问都会被指派到A,第二个用户访问都会被指派到B,实现集群的调度
- 此调度算法好处是实现会话保持,但某些IP访问量非常大时会引|起负载不均衡部分节点访问量超大,影响业务使用
四、Haproxy的特性
Haproxy是可提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,是免费、快速并且可靠的一种解决方案。Haproxy非常适用并发大(并发达1w以上)web站点,这些站点通常又需要会话保持或七层处理。Haproxy的运行模式使得它可以很简单安全的整合至当前的架构中,同时可以保护web服务器不被暴露到网络上。
- 可靠性和稳定性非常好,可以与硬件级的F5负载均衡设备相媲美;
- 最高可以同时维护40000-50000个并发连接,单位时间内处理的最大请求数为20000个,最大处理能力可达10Git/s;
- 支持多达8种负载均衡算法,同时也支持会话保持;
- 支持虚机主机功能,从而实现web负载均衡更加灵活;
- 支持连接拒绝、全透明代理等独特的功能;
- 拥有强大的ACI支持,用于访问控制;
- 其独特的弹性二叉树数据结构,使数据结构的复杂性上升到了0(1),即数据的查寻速度不会随着数据条目的增加而速度有所下降;
- 支持客户端的keepalive功能,减少客户端与haproxy的多次三次握手导致资源浪费,让多个请求在--个tcp连接中完成;
- 支持TCP加速,零复制功能,类似于mmap机制;
- 支持响应池( response buffering) ;
- 支持RDP协议:
- 基于源的粘性,类似nginx的ip_hash功能,把来自同一a客户端的请求在一定时间内始终调度到上游的同一.服务器;
- 更好统计数据接口,其web接口显示后端集群中各个服务器的接收、发送、拒绝、错误等数据的统计信息;
- 详细的健康状态检测,web接口中有关于对上游服务器的健康检测状态,并提供了一定的管理功能;
- 基于流量的健康评估机制;
- 基于http认证;
- 基于命令行的管理接口;
- 日志分析器,可对日志进行分析。
- roundrobin,表示简单的轮询
- static-rr,表示根据权重
- leastconn,表示最少连接者先处理
- source,表示根据请求源IP
- uri,表示根据请求的URI,做cdn需使用;
- url_ param, 表示根据请求的UR1参数'balance url_ param' requires an URL parameter name
- hdr (name),表示根据HTTP请求头来锁定每一次HTTP请求;
- rdp-cookie (name),表示根据据cookie (name)来锁定并哈希每一次TCP请求 。
4.3 LVS、Nginx、Haproxy的区别
LVS性能最好。haproxy nginx LVS只支持四层转发 haproxy nginx 都能支持四层和七层的转发 对节点的健康检查:haproxy和LVS都是主动检查,haproxy检查的方式更丰富 ,nginx只能被动检查,通过转发请求是否失败来判断 Nginx的优点: ●工作在网络的7层之上,可以针对http应用做一些分流的策略,比如针对域名、目录结构。Nginx正则规则比HAProxy更为强大和灵活。 ●Nginx对网络稳定性的依赖非常小,理论上能ping通就就能进行负载功能,LVS对网络稳定性依赖比较大,稳定要求相对更高。 ●Nginx安装和配置、测试比较简单、方便,有清晰的日志用于排查和管理,LVS的配置、测试就要花比较长的时间了。 ●可以承担高负载压力且稳定,一般能支撑几万次的并发量,负载度比LVS相对小些。 ●Nginx可以通过端口检测到服务器内部的故障,比如根据服务器处理网页返回的状态码、超时等等。 ●Nginx不仅仅是一款优秀的负载均衡器/反向代理软件,它同时也是功能强大的Web应用服务器。 ●Nginx作为Web反向加速缓存越来越成熟了,速度比传统的Squid服务器更快,很多场景下都将其作为反向代理加速器。 ●Nginx作为静态网页和图片服务器,这方面的性能非常优秀,同时第三方模块也很多。 Nginx的缺点: ●Nginx仅能支持http、https和Email协议,这样就在适用范围上面小些。 ●对后端服务器的健康检查,只支持通过端口来检测,不支持通过url来检测。 ●不支持Session的直接保持,需要通过ip_hash和cookie的引导来解决。 LVS的优点: ●抗负载能力强、是工作在网络4层之上仅作分发之用,没有流量的产生。因此负载均衡软件里的性能最强的,对内存和cpu资源消耗比较低。 ●LVS工作稳定,因为其本身抗负载能力很强,自身有完整的双机热备方案。 ●无流量,LVS只分发请求,而流量并不从它本身出去,这点保证了均衡器IO的性能不会收到大流量的影响。 ●应用范围较广,因为LVS工作在4层,所以它几乎可对所有应用做负载均衡,包括http、数据库等。 LVS的缺点: ●软件本身不支持正则表达式处理,不能做动静分离。相对来说,Nginx/HAProxy+Keepalived则具有明显的优势。 ●如果是网站应用比较庞大的话,LVS/DR+Keepalived实施起来就比较复杂了。相对来说,Nginx/HAProxy+Keepalived就简单多了。 HAProxy的优点: ●HAProxy也是支持虚拟主机的。 ●HAProxy支持8种负载均衡策略。 ●HAProxy的优点能够补充Nginx的一些缺点,比如支持Session的保持,Cookie的引导,同时支持通过获取指定的url来检测后端服务器的状态。 ●HAProxy跟LVS类似,本身就只是一款负载均衡软件,单纯从效率上来讲HAProxy会比Nginx有更出色的负载均衡速度,在并发处理上也是优于Nginx的。 ●HAProxy支持TCP协议的负载均衡转发。 五、Haproxy搭建Web群集 Haproxy服务器:192.168.200.12 Nginx服务器1:192.168.200.14 Nginx服务器2:192.168.200.15 客户端:192.168.200.13 Haproxy服务器配置
节点服务器配置
测试
日志定义
测试