文章目录

• 集群简介
• • 集群的特点
  • 集群的分类
  • • 负载均衡
    • 负载均衡集群技术的实现
    • 负载均衡分类
    • • 四层负载均衡（基于IP+端口的负载均衡）
      • 七层的负载均衡（基于虚拟的URL或主机IP的负载均衡)
    • 高可用性集群
    • 高性能计算集群
• LVS 介绍
• • LVS优缺点
  • LVS 核心组件和专业术语
  • LVS负载均衡四种工作模式
  • • NAT模式（VS-NAT）
    • 直接路由(Direct routing)模式（LVS-DR）
    • IP隧道(Tunnel)模式（VS-TUN）
    • FULL-NAT模式
    • 比较
  • LVS ipvsadm 命令的使用
• DR模式配置http负载均衡

集群简介

计算机集群简称集群是一种计算机系统，它通过一组松散集成的计算机软件和/或硬件连接起来高度紧密地协作完成计算工作。在某种意义上，他们可以被看作是一台计算机。集群系统中的单个计算机通常称为节点，通常通过局域网连接，但也有其它的可能连接方式。集群计算机通常用来改进单个计算机的计算速度和/或可靠性。

简单来说集群就是一组相互独立的计算机，通过高速的网络组成一个计算机系统，每个集群节点都是运行其自己进程的一个独立服务器。对网络用户来讲，网站后端就是一个单一的系统，协同起来向用户提供系统资源，系统服务。

集群的特点

1）高性能performance。一些需要很强的运算处理能力比如天气预报，核试验等。这就不是几台计算机能够搞定的。这需要上千台一起来完成这个工作的。

2）价格有效性

通常一套系统集群架构，只需要几台或数十台服务器主机即可，与动则上百王的专用超级计算机具有更高的性价比。

3）可伸缩性

当服务器负载压力增长的时候，系统能够扩展来满足需求，且不降低服务质量。

4）高可用性

尽管部分硬件和软件发生故障，整个系统的服务必须是7*24小时运行的。

集群的分类

计算机集群架构按照功能和结构一般分成以下几类：

• 负载均衡集群（Loadbalancingclusters）简称LBC

• 高可用性集群（High-availabilityclusters）简称HAC

• 高性能计算集群（High-perfomanceclusters）简称HPC

• 网格计算（Gridcomputing）

负载均衡

负载均衡集群为企业提供更为实用，性价比更高的系统架构解决方案。负载均衡集群把很多客户集中访问的请求负载压力可能尽可能平均的分摊到计算机集群中处理。客户请求负载通常包括应用程度处理负载和网络流量负载。集群中每个节点都可以承担一定的访问请求负载压力，并且可以实现访问请求在各节点之间动态分配，以实现负载均衡。

• 负载均衡集群的作用

1. 分担访问流量（负载均衡）

2. 保持业务的连续性（高可用）

负载均衡集群技术的实现

负载均衡技术类型：基于 4 层负载均衡技术和基于 7 层负载均衡技术

负载均衡实现方式：硬件负载均衡设备或者软件负载均衡

硬件负载均衡产品：F5 、深信服 、Radware

软件负载均衡产品： LVS（Linux Virtual Server）、 Haproxy、Nginx、Ats（apache traffic server）

负载均衡分类

负载均衡根据所采用的设备对象（软/硬件负载均衡），应用的OSI网络层次（网络层次上的负载均衡），及应用的地理结构（本地/全局负载均衡）等来分类。下面介绍的是根据应用的 OSI 网络层次来分类的两个负载均衡类型。
负载均衡可以大概分为以下几类：

• 二层负载均衡（mac）

  一般是用虚拟mac地址方式，外部对虚拟MAC地址请求，负载均衡接收后分配后端实际的MAC地址响应。

• 三层负载均衡（ip）

一般采用虚拟IP地址方式，外部对虚拟的ip地址请求，负载均衡接收后分配后端实际的IP地址响应。

• 四层负载均衡（tcp）

在三层负载均衡的基础上，用ip+port接收请求，再转发到对应的机器。

• 七层负载均衡（http）

根据虚拟的url或IP，主机名接收请求，再转向相应的处理服务器。

四层负载均衡（基于IP+端口的负载均衡）

实现四层负载均衡的软件有：

F5：硬件负载均衡器，功能很好，但是成本很高。
lvs：重量级的四层负载软件
nginx：轻量级的四层负载软件，带缓存功能，正则表达式较灵活
haproxy：模拟四层转发，较灵活

七层的负载均衡（基于虚拟的URL或主机IP的负载均衡)

四层负载均衡的基础上（没有四层是绝对不可能有七层的），再考虑应用层的特征，比如同一个Web服务器的负载均衡，除了根据VIP加80端口辨别是否需要处理的流量，还可根据七层的URL、浏览器类别来决定是否要进行负载均衡。
实现七层负载均衡的软件有：

• haproxy：天生负载均衡技能，全面支持七层代理，会话保持，标记，路径转移；
• nginx：只在http协议和mail协议上功能比较好，性能与haproxy差不多；
• apache：功能较差
• Mysql proxy：功能尚可。

·	四层负载均衡	七层负载均衡
基于	基于IP+Port的	基于虚拟的URL或主机IP等。
类似于	路由器	代理服务器
复杂度	低	高
性能	高；无需解析内容	中；需要算法识别 URL，Cookie 和 HTTP head 等信息
安全性	低	高
额外功能	无	会话保持，图片压缩，等

四层负载架构设计比较简单，无需解析具体的消息内容，在网络吞吐量及处理能力上会相对比较高。

而七层负载均衡的优势则体现在功能多，控制灵活强大。在具体业务架构设计时，使用七层负载或者四层负载还得根据具体的情况综合考虑。

高可用性集群

一般是指当集群中的任意一个节点失效的情况下，节点上的所有任务自动转移到其他正常的节点上，并且此过程不影响整个集群的运行，不影响业务的提供。

类似是集群中运行着两个或两个以上的一样的节点，当某个主节点出现故障的时候，那么其他作为从 节点的节点就会接替主节点上面的任务。从节点可以接管主节点的资源（IP地址，架构身份等），此时用户不会发现提供服务的对象从主节点转移到从节点。

高可用性集群的作用：当一个机器宕机另一台进行接管。比较常用的高可用集群开源软件有：keepalive，heardbeat。

高性能计算集群

高性能计算集群采用将计算任务分配到集群的不同计算节点儿提高计算能力，因而主要应用在科学计算领域。比较流行的HPC采用Linux操作系统和其它一些免费软件来完成并行运算。这一集群配置通常被称为Beowulf集群。这类集群通常运行特定的程序以发挥HPCcluster的并行能力。这类程序一般应用特定的运行库, 比如专为科学计算设计的MPI库。

HPC集群特别适合于在计算中各计算节点之间发生大量数据通讯的计算作业，比如一个节点的中间结果或影响到其它节点计算结果的情况。

常用集群软硬件

常用开源集群软件有：lvs，keepalived，haproxy，nginx，apache，heartbeat

常用商业集群硬件有：F5,Netscaler，Radware，A10等

LVS 介绍

• LVS 是 Linux Virtual Server的简称，也就是 Linux 虚拟服务器, 是一个由章文嵩博士发起的*软件项目，它的官方站点是www.linuxvirtualserver.org。现在LVS已经是 Linux标准内核的一部分，因此性能较高。

• LVS软件作用：通过LVS提供的负载均衡技术和Linux操作系统实现一个高性能、高可用的服务器群集，它具有良好可靠性、可扩展性和可操作性。从而以低廉的成本实现最优的服务性能。

LVS优缺点

• 优点

• 高并发连接：LVS基于内核网络层面工作，有超强的承载能力和并发处理能力。单台LVS负载均衡器，可支持上万并发连接。

• 稳定性强：是工作在网络4层之上仅作分发之用，这个特点也决定了它在负载均衡软件里的性能最强，稳定性最好，对内存和cpu资源消耗极低。

• 成本低廉：硬件负载均衡器少则十几万，多则几十万上百万，LVS只需一台服务器和就能免费部署使用，性价比极高。

• 配置简单：LVS配置非常简单，仅需几行命令即可完成配置，也可写成脚本进行管理。

• 支持多种算法：支持多种论调算法，可根据业务场景灵活调配进行使用

• 支持多种工作模型：可根据业务场景，使用不同的工作模式来解决生产环境请求处理问题。

• 应用范围广：因为LVS工作在4层，所以它几乎可以对所有应用做负载均衡，包括http、数据库、DNS、ftp服务等等

• 缺点是工作在4层，不支持7层规则修改，机制过于庞大，不适合小规模应用。

LVS 核心组件和专业术语

• 1.核心组件

LVS的管理工具和内核模块 ipvsadm/ipvs

ipvsadm：用户空间的命令行工具，用于管理集群服务及集群服务上的RS等；

ipvs：工作于内核上的程序，可根据用户定义的集群实现请求转发；

• 2.专业术语

VS：Virtual Server #虚拟服务

Director, Balancer #负载均衡器、分发器

RS：Real Server #后端请求处理服务器

CIP: Client IP #用户端IP

VIP：Director Virtual IP #负载均衡器虚拟IP

DIP：Director IP #负载均衡器IP

RIP：Real Server IP #后端请求处理服务器IP

LVS负载均衡四种工作模式

• LVS/NAT：网络地址转换模式，进站/出站的数据流量经过分发器(IP负载均衡，他修改的是IP地址) --利用三层功能
• LVS/DR ：直接路由模式，只有进站的数据流量经过分发器(数据链路层负载均衡，因为他修改的是目的mac地址)–利用二层功能mac地址
• LVS/TUN： 隧道模式，只有进站的数据流量经过分发器
• LVS/full-nat:双向转换:通过请求报文的源地址为DIP，目标为RIP来实现转发：对于响应报文而言，修改源地址为VIP，目标地址为CIP来实现转发

NAT模式（VS-NAT）

原理：就是把客户端发来的数据包的IP头的目的地址，在负载均衡器上换成其中一台RS的IP地址，并发至此RS来处理,RS处理完成后把数据交给经过负载均衡器,负载均衡器再把数据包的原IP地址改为自己的IP，将目的地址改为客户端IP地址即可｡期间,无论是进来的流量,还是出去的流量,都必须经过负载均衡器｡

优点：集群中的物理服务器可以使用任何支持TCP/IP操作系统，只有负载均衡器需要一个合法的IP地址。
缺点：扩展性有限。当服务器节点（普通PC服务器）增长过多时,负载均衡器将成为整个系统的瓶颈，因为所有的请求包和应答包的流向都经过负载均衡器。当服务器节点过多时，速度就会变慢。

直接路由(Direct routing)模式（LVS-DR）

原理：负载均衡器和RS都使用同一个IP对外服务｡但只有DR对ARP请求进行响应,所有RS对本身这个IP的ARP请求保持静默｡也就是说,网关会把对这个服务IP的请求全部定向给DR,而DR收到数据包后根据调度算法,找出对应的RS,把目的MAC地址改为RS的MAC（因为IP一致）并将请求分发给这台RS｡这时RS收到这个数据包,处理完成之后，由于IP一致，可以直接将数据返给客户，则等于直接从客户端收到这个数据包无异,处理后直接返回给客户端｡

优点：和TUN（隧道模式）一样，负载均衡器也只是分发请求，应答包通过单独的路由方法返回给客户端。与VS-TUN相比，VS-DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为物理服务器。
缺点：（不能说缺点，只能说是不足）要求负载均衡器的网卡必须与物理网卡在一个物理段上

IP隧道(Tunnel)模式（VS-TUN）

​ 原理：互联网上的大多Internet服务的请求包很短小，而应答包通常很大。那么隧道模式就是，把客户端发来的数据包，封装一个新的IP头标记(仅目的IP)发给RS,RS收到后,先把数据包的头解开,还原数据包,处理后,直接返回给客户端,不需要再经过负载均衡器｡注意,由于RS需要对负载均衡器发过来的数据包进行还原,所以说必须支持IPTUNNEL协议｡所以,在RS的内核中,必须编译支持IPTUNNEL这个选项

​ 优点：负载均衡器只负责将请求包分发给后端节点服务器，而RS将应答包直接发给用户。所以，减少了负载均衡器的大量数据流动，负载均衡器不再是系统的瓶颈，就能处理很巨大的请求量，这种方式，一台负载均衡器能够为很多RS进行分发。而且跑在公网上就能进行不同地域的分发。
​ 缺点：隧道模式的RS节点需要合法IP，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，服务器可能只局限在部分Linux系统上。

FULL-NAT模式

原理:客户端对VIP发起请求，Director接过请求发现是请求后端服务。Direcrot对请求报文做full-nat，把源ip改为Dip，把目标ip转换为任意后端RS的rip，然后发往后端，rs接到请求后，进行响应，相应源ip为Rip目标ip还是DIP，又内部路由路由到Director,Director接到响应报文，进行full-nat。将源地址为VIP，目标地址改为CIP

比较

LVS ipvsadm 命令的使用

1、LVS-server安装lvs管理软件

yum -y install ipvsadm

程序包：ipvsadm（LVS管理工具）

主程序：/usr/sbin/ipvsadm

规则保存工具：/usr/sbin/ipvsadm-save > /path/to/file

配置文件：/etc/sysconfig/ipvsadm-config
2、命令选项

-A --add-service #在服务器列表中新添加一条新的虚拟服务器记录
-s --scheduler #使用的调度算法， rr | wrr | lc | wlc | lblb | lblcr | dh | sh | sed | nq 默认调度算法是 wlc
例：ipvsadm -A -t 192.168.1.2:80 -s wrr
 
-a --add-server  #在服务器表中添加一条新的真实主机记录
-t --tcp-service #说明虚拟服务器提供tcp服务
-u --udp-service #说明虚拟服务器提供udp服务
-r --real-server #真实服务器地址
-m --masquerading #指定LVS工作模式为NAT模式
-w --weight #真实服务器的权值
-g --gatewaying #指定LVS工作模式为直接路由器模式（也是LVS默认的模式）
-i --ip #指定LVS的工作模式为隧道模式  
-p #会话保持时间，定义流量被转到同一个realserver的会话存留时间
例：ipvsadm -a -t 192.168.1.2:80 -r 192.168.2.10:80 -m -w 1
 
-E -edit-service #编辑内核虚拟服务器表中的一条虚拟服务器记录。
-D -delete-service #删除内核虚拟服务器表中的一条虚拟服务器记录。
-C -clear #清除内核虚拟服务器表中的所有记录。
-R -restore #恢复虚拟服务器规则
-S -save #保存虚拟服务器规则到标准输出，输出为-R 选项可读的格式
-e -edit-server #编辑一条虚拟服务器记录中的某条真实服务器记录
-d -delete-server #删除一条虚拟服务器记录中的某条真实服务器记录
-L|-l –list #显示内核虚拟服务器表
 
--numeric, -n：#以数字形式输出地址和端口号
--exact： #扩展信息，精确值 
--connection，-c： #当前IPVS连接输出
--stats： #统计信息
--rate ： #输出速率信息
 
参数也可以从/proc/net/ip_vs*映射文件中查看
-Z –zero #虚拟服务表计数器清零（清空当前的连接数量等）

DR模式配置http负载均衡

//LVS上配置IP
[root@localhost ~]# ip addr add 192.168.216.250/24 dev ens160 
[root@localhost ~]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host 
       valid_lft forever preferred_lft forever
2: ens160: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
    link/ether 00:0c:29:63:5f:81 brd ff:ff:ff:ff:ff:ff
    inet 192.168.216.200/24 brd 192.168.216.255 scope global dynamic noprefixroute ens160
       valid_lft 1547sec preferred_lft 1547sec
    inet 192.168.216.250/24 scope global secondary ens160
       valid_lft forever preferred_lft forever
    inet6 fe80::20c:29ff:fe63:5f81/64 scope link noprefixroute 
       valid_lft forever preferred_lft forever
       
//RS上配置arp内核参数
[root@RS1 ~]# vim /etc/sysctl.conf
[root@RS1 ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2
[root@RS2 ~]# echo 'net.ipv4.conf.all.arp_ignore = 1' >> /etc/sysctl.conf 
[root@RS2 ~]# echo 'net.ipv4.conf.all.arp_announce = 2' >> /etc/sysctl.conf 
[root@localhost ~]# sysctl -p
net.ipv4.conf.all.arp_ignore = 1
net.ipv4.conf.all.arp_announce = 2

//RS上配置VIP
[root@RS1 ~]# ip addr add 192.168.216.250/24 dev lo
[root@RS2 ~]# ip addr add 192.168.216.250/24 dev lo
[root@RS1 ~]# route add -host 192.168.216.250/24 dev lo
[root@RS2 ~]# route add -host 192.168.216.250/24 dev lo
//[root@DR ~]# yum -y install ipvsadm

[root@DR ~]# ipvsadm -A -t 192.168.153.250:80 -s rr
[root@DR ~]# ipvsadm -a -t 192.168.153.250:80 -r 192.168.153.152:80 -g
[root@DR ~]# ipvsadm -a -t 192.168.153.250:80 -r 192.168.153.153:80 -g
[root@DR ~]# ipvsadm -Sn
-A -t 192.168.216.250:80 -s rr
-a -t 192.168.216.250:80 -r 192.168.216.250:80 -g -w 1
-a -t 192.168.216.250:80 -r 192.168.216.250:80 -g -w 1

[root@DR ~]# ipvsadm -Sn > /etc/sysconfig/ipvsadm
//RS上配置http
[root@RS-1 ~]# yum -y install httpd
[root@RS-1 ~]# echo 'hello rs1' > /var/www/html/index.html
[root@RS-1 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.

root@RS-2 ~]# yum -y install httpd
[root@RS-2 ~]# echo 'hello rs2' > /var/www/html/index.html
[root@RS-2 ~]# systemctl enable --now httpd
Created symlink /etc/systemd/system/multi-user.target.wants/httpd.service → /usr/lib/systemd/system/httpd.service.
//测试
[root@localhost ~]# curl 192.168.216.250:80
hello rs1
[root@localhost ~]# curl 192.168.216.250:80
hello rs1