haproxy高可用、负载均衡集群

2023-08-08 15:10:34

　　HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理，支持虚拟主机，它是免费、快速并且可靠的一种解决方案。根据官方数据，其最高极限支持10G的并发。另外其支持从4层至7层的网络交换，即覆盖所有的TCP协议，换而言之，Haproxy 甚至还支持Mysql的均衡负载。

　　HAProxy特别适用于那些负载特大的web站点，这些站点通常又需要会话保持或七层处理。HAProxy运行在当前的硬件上，完全可以支持数以万计的并发连接。并且它的运行模式使得它可以很简单安全的整合进您当前的架构中，同时可以保护你的web服务器不被暴露到网络上。

　　在功能上haproxy通过反向代理方式实现Web负载均衡，和nginx、ApacheProxy、lighttpd、Cheroke等一样。不同点在于，haproxy并不是Web服务器，前面提到的所有带反向代理负载均衡产品，都是Web服务器。简单来说就是，haproxy仅仅是一款负载均衡的应用代理程序，本身不提供Web服务。

　　haproxy配置简单，拥有非常不错的服务器健康检查功能，还有专门的系统状态监控页面。当其代理的后端服务器出现故障，haproxy会自动将该服务器剔除，故障恢复后再自动加入。

　　下载地址：https://github.com/haproxy/haproxy/releases/

(1).haproxy的负载均衡算法

　　haproxy的负载均衡算法配置在etc/haproxy.cfg中balance参数，与server参数配合使用。haproxy提供来8种负载均很算法：roundrobin根据权重轮询（动态）、static-rr根据权重轮询（静态）、source根据请求源IP、leastconn最少连接者先处理、uri根据请求的uri、url_param根据请求的url参数、rdp-cookie据据cookie(name)来锁定并哈希每一次请求、hdr(name)根据HTTP请求头来锁定每一次HTTP请求。

　　我是没发现动态权重分配和静态权重分配有什么区别。

　　详细查看：https://blog.csdn.net/eddie_cm/article/details/79796883

　　haproxy配置文件参数详细介绍：https://blog.csdn.net/wngua/article/details/54618299

(2).实验环境

youxi1　　192.168.1.6　　负载均衡器（haproxy）

youxi2　　192.168.1.7　　主机1

youxi3　　192.168.1.8　　主机2

(3).实验

　1）负载均衡器youxi1上安装配置haproxy

　　安装依赖包

[root@youxi1 ~]# yum -y install make gcc gcc-c++ openssl-devel

　　将下载好的安装包上传到服务器上，解压安装

[root@youxi1 ~]# tar -xf haproxy-1.7.9.tar -C /usr/local/src/　　//解压

[root@youxi1 ~]# cd /usr/local/src/haproxy-1.7.9/

[root@youxi1 haproxy-1.7.9]# cat README　　//找到如下部分

To build haproxy, you have to choose your target OS amongst the following ones

and assign it to the TARGET variable :

  - linux22     for Linux 2.2

  - linux24     for Linux 2.4 and above (default)

  - linux24e    for Linux 2.4 with support for a working epoll (> 0.21)

  - linux26     for Linux 2.6 and above

  - linux2628   for Linux 2.6.28, 3.x, and above (enables splice and tproxy)

  - solaris     for Solaris 8 or 10 (others untested)

  - freebsd     for FreeBSD 5 to 10 (others untested)

  - netbsd      for NetBSD

  - osx         for Mac OS/X

  - openbsd     for OpenBSD 5.7 and above

  - aix51       for AIX 5.1

  - aix52       for AIX 5.2

  - cygwin      for Cygwin

  - haiku       for Haiku

  - generic     for any other OS or version.

  - custom      to manually adjust every setting

[root@youxi1 haproxy-1.7.9]# uname -r　　//与上面的信息对照，找到TARGET对应的值

3.10.0-957.el7.x86_64

//与其他的不同，这里使用的make生成的Makefile，不过虽然添加来参数但Makefile里根本没有写上，还得进去改

[root@youxi1 haproxy-1.7.9]# make TARGET=linux2628 PREFIX=/usr/local/haproxy

[root@youxi1 haproxy-1.7.9]# vim Makefile　　//修改如下参数，也可以注意下CPU参数

PREFIX = /usr/local/haproxy　　//第94行

TARGET = linux2628　　//第104行

[root@youxi1 haproxy-1.7.9]# make install

install -d "/usr/local/haproxy/sbin"

install haproxy haproxy-systemd-wrapper "/usr/local/haproxy/sbin"

install -d "/usr/local/haproxy/share/man"/man1

install -m 644 doc/haproxy.1 "/usr/local/haproxy/share/man"/man1

install -d "/usr/local/haproxy/doc/haproxy"

for x in configuration management architecture cookie-options lua WURFL-device-detection proxy-protocol linux-syn-cookies network-namespaces DeviceAtlas-device-detection 51Degrees-device-detection

 netscaler-client-ip-insertion-protocol close-options SPOE intro; do \

install -m 644 doc/$x.txt "/usr/local/haproxy/doc/haproxy" ; \

done

[root@youxi1 haproxy-1.7.9]# echo $?

0

[root@youxi1 haproxy-1.7.9]# ls /usr/local/haproxy/

doc sbin share　　//总共就这三个目录，安装完成后看一下

　　手动创建haproxy配置文件

[root@youxi1 haproxy-1.7.9]# mkdir /usr/local/haproxy/etc

[root@youxi1 haproxy-1.7.9]# vim /usr/local/haproxy/etc/haproxy.cfg

global #全局配置

#定义全局的syslog服务器，最多可以定义两个。

#格式log [IP地址] [日志设备] [日志级别]

#日志设备必须是以下24种标准syslog设备之一：

#kern、user、mail、daemon、auth、syslog、lpr、news、uucp、cron、auth2、ftp、ntp、

#audit、alert、cron2、local0、local1、local2、local3、local4、local5、local6、local7

#这里的日志设备要与/etc/syslog.conf中定义的日志收集保持一致。

#日志级别有四种：err、warning、info、debug，默认为info

log 127.0.0.1 local0

maxconn 4096 #最大连接数

chroot /usr/local/haproxy #当前工作目录

uid 99 #所属运行的用户uid，也可以使用user [用户名]

gid 99 #所属运行的用户组id，也可以使用group [组名]

daemon #以后台形式运行haproxy

#启动haproxy进程个数。实际工作中，进程个数一般与CPU核心数一样。这样可以发挥出最大的性能

nbproc 1

pidfile /usr/local/haproxy/run/haproxy.pid #pid文件存放位置

#debug #调试模式，输出启动信息到标准输出。调错时使用

#quiet #静默模式，启动时无输出

defaults #默认设置

log global #应用全局的日志配置

#日志文件的输出定向。产生的日志级别为local3. 系统中local1-7，用户自己定义

log 127.0.0.1 local3

#工作模式，所处理的协议类型

#参数值可以为http|tcp|health,默认采用http模式

#tcp是4层，http是7层，health只会返回OK

mode http

option httplog #日志类别，记载http日志

#每次请求完毕后主动关闭http通道,haproxy不支持keep-alive,只能模拟这种模式的实现

option httpclose

option dontlognull #不记录空连接产生的日志

#如果后端服务器需要获得客户端真实ip，需要配置此参数，可以从Http Header中获得客户端ip

option forwardfor

option redispatch #当serverid对应的服务器挂掉后，强制定向到其他健康服务器

retries 2 #2次连接失败就认为服务器不可用，主要通过后面的check检查

maxconn 2000 #最大连接数

balance roundrobin #负载均衡算法

#haproxy监控页面的访问地址，可通过http://localhost:80/haproxy-stats访问

stats uri /haproxy-stats

timeout connect 5000 #连接超时时间，单位：ms毫秒。等同contimeout

timeout client 50000 #客户端连接超时时间。等同clitimeout

timeout server 50000 #服务器端连接超时时间。等同srvtimeout

mode http

#健康检测，完整格式为option httpchk <method> <uri> <version>

#注意实际工作中测试时，应该下载某一个页面来进行测试，

#因此这个页面应该是个小页面，而不要用首页面。这里是每隔一秒检查一次页面。

option httpchk GET /index.html

frontend http #前端配置，接收请求的端口组，http名称可自定义

bind 0.0.0.0:80 #监听端口，发起http请求到80端口，会被转发到设置的后端ip及端口

default_backend http_back #转发到后端，后端名http_back可以自定义

backend http_back #后端配置，后端名需要与前端配置的保持一致

server s1 192.168.1.7:80 weight 3 check #后端的主机IP、端口和权衡

server s2 192.168.1.8:80 weight 3 check #后端的主机IP、端口和权衡

　　上面的uid99，和gid99都是nobody，系统自带的。

[root@youxi1 haproxy-1.7.9]# id nobody

uid=99(nobody) gid=99(nobody) 组=99(nobody)

　　另外，后端服务器配置格式为server [服务器名称] [IP地址:端口号] [参数]，参数如下：

backup：设定为备用服务器，仅在负载均衡场景中的其他server均不可以启用此server

check：启动对此server执行监控状态检查，其可以借助于额外的其他参数完成更精细的设定，如：

inter: 设定监控状态检查的时间间隔，单位为毫秒，默认为2000，也可以使用fastinter和downinter来根据服务器端专题优化此事件延迟

rise：设定检查状态检查中，某离线的server从离线状态转换至正常状态需要成功检查的次数

fall：设定检查状态检查中，某离线的server从正常状态转换至离线状态需要成功检查的次数

cookie：为指定server设定cookie值，此处指定的值将会在请求入站时被检查，第一次为此值挑选的server将会倍后续的请求所选中，其目的在于实现持久连接的功能

maxconn：指定此服务器接受的最大并发连接数，如果发往此服务器的连接数目高于此处指定的值，其将被放置于请求队列，以等待其他连接被释放

maxqueue：通过观察服务器的通信状况来判断其健康状态，默认为禁用，其支持的类型有“layer 4”和“layer 7”，“layer 7”仅能用于http代理场景

redir：启用重定向功能，将发往此服务的GET和HEAD请求均以302状态码响应，需要注意的是，在prefix后面不能使用/，且不能使用相对地址，以避免造成循环，例如

　　server srv1 192..168.1.202:80 redir http://imageserver.wangfeng7399.com check

weight: 权重，默认为1，最大值为256，0表示不参与负载均衡

　　配置文件参数详细查看：https://blog.csdn.net/wngua/article/details/54618299

　　生成haproxy的启动脚本，改太麻烦了直接复制好了。注意：这是解压目录下的examples/haproxy.init修改来的，不过reload是有问题的。想要reload需要手动输入命令。

[root@youxi1 haproxy-1.7.9]# vim /etc/init.d/haproxy

#!/bin/sh

# chkconfig: - 85 15

# description: HA-Proxy server

# processname: haproxy

# config: /usr/local/haproxy/etc/haproxy.cfg

# Source function library.

if [ -f /etc/init.d/functions ]; then

  . /etc/init.d/functions

elif [ -f /etc/rc.d/init.d/functions ] ; then

  . /etc/rc.d/init.d/functions

else

  exit 0

fi

# Source networking configuration.

. /etc/sysconfig/network

# Check that networking is up.

[ "$NETWORKING" = "no" ] && exit 0

# This is our service name

BASENAME=`haproxy`

BIN=/usr/sbin/haproxy

CFG=/usr/local/haproxy/etc/haproxy.cfg

[ -f $CFG ] || exit 1

PIDFILE=/usr/local/haproxy/run/haproxy.pid

LOCKFILE=/usr/local/haproxy/run/haproxy

RETVAL=0

start() {

  quiet_check

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

  echo -n "Starting $BASENAME: "

  daemon $BIN -D -f $CFG -p $PIDFILE

  RETVAL=$?

  echo

  [ $RETVAL -eq 0 ] && touch $LOCKFILE

  return $RETVAL

}

stop() {

  echo -n "Shutting down $BASENAME: "

  killproc $BASENAME -USR1

  RETVAL=$?

  echo

  [ $RETVAL -eq 0 ] && rm -f $LOCKFILE

  [ $RETVAL -eq 0 ] && rm -f $PIDFILE

  return $RETVAL

}

restart() {

  quiet_check

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

  stop

  start

}

reload() {

  if ! [ -s $PIDFILE ]; then

    return 0

  fi

  quiet_check

  if [ $? -ne 0 ]; then

    echo "Errors found in configuration file, check it with '$BASENAME check'."

    return 1

  fi

  $BIN -D -f $CFG -p $PIDFILE -sf $(cat $PIDFILE)

}

check() {

  $BIN -c -q -V -f $CFG

}

quiet_check() {

  $BIN -c -q -f $CFG

}

rhstatus() {

  status $BASENAME

}

condrestart() {

  [ -e $LOCKFILE ] && restart || :

}

# See how we were called.

case "$1" in

  start)

    start

    ;;

  stop)

    stop

    ;;

  restart)

    restart

    ;;

  reload)

    reload

    ;;

  condrestart)

    condrestart

    ;;

  status)

    rhstatus

    ;;

  check)

    check

    ;;

  *)

    echo $"Usage: $BASENAME {start|stop|restart|reload|condrestart|status|check}"

    exit 1

esac

exit $?

[root@youxi1 haproxy-1.7.9]# chmod +x !$　　//添加执行权限

chmod +x /etc/init.d/haproxy

　　做一个软连接给启动脚本使用（添加环境变量没有试过），也可以直接复制过去

[root@youxi1 haproxy-1.7.9]# ln -s /usr/local/haproxy/sbin/haproxy /usr/sbin/

[root@youxi1 haproxy-1.7.9]# ll /usr/sbin/haproxy

lrwxrwxrwx 1 root root 31 7月  21 01:28 /usr/sbin/haproxy -> /usr/local/haproxy/sbin/haproxy

　　创建pid存放目录，并修改haproxy的所属主

[root@youxi1 haproxy-1.7.9]# mkdir /usr/local/haproxy/run

[root@youxi1 haproxy-1.7.9]# chown -R nobody /usr/local/haproxy

[root@youxi1 haproxy-1.7.9]# ll -d /usr/local/haproxy

drwxr-xr-x 7 nobody root 64 7月  21 01:31 /usr/local/haproxy

　　配置日志收集文件

[root@youxi1 haproxy-1.7.9]# vim /etc/rsyslog.conf

$ModLoad imudp//第15~16行去除注释

$UDPServerRun 514

local7.*　　/var/log/boot.log　　//这一行是第73行，在这一行下面添加两行

local3.*　　/var/log/haproxy.log　　//需要与上面的haproxy配置文件对应

local0.*　　/var/log/haproxy.log

[root@youxi1 haproxy-1.7.9]# systemctl restart rsyslog

　　启动

#方法一

[root@youxi1 haproxy-1.7.9]# /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg

[root@youxi1 haproxy-1.7.9]# ps aux | grep haproxy

nobody    10654  0.0  0.0  12272   808 ?        Ss   01:39   0:00 /usr/local/haproxy/sbin/haproxy -f /usr/local/haproxy/etc/haproxy.cfg

root      10656  0.0  0.0 112724   996 pts/0    S+   01:40   0:00 grep --color=auto haproxy

#方法二

[root@youxi1 ~]# /etc/init.d/haproxy start

Reloading systemd:                                         [  确定  ]

Starting haproxy (via systemctl):                          [  确定  ]

[root@youxi1 ~]# ps aux | grep haproxy

//两行Message信息提示服务器不可用，因为还没有配置，显示的比较慢，直接<Enter>就可以了

Message from syslogd@localhost at Jul 21 01:43:02 ...

 haproxy[10763]: backend http_back has no server available!

Message from syslogd@localhost at Jul 21 01:43:02 ...

 haproxy[10763]: backend http_back has no server available!

nobody    10763  0.0  0.0  12272   804 ?        Ss   01:42   0:00 /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid

root      10766  0.0  0.0 112724   992 pts/0    S+   01:43   0:00 grep --color=auto haproxy

　　特别说明reload手动输入命令该怎么做，主要是不停服务重新加载配置文件，平滑过渡

//首先使用ps aux | grep haproxy查看有几个进程

[root@youxi1 ~]# ps aux | grep haproxy

nobody 7224 0.0 0.0 12272 828 ? Ss 16:57 0:00 /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid

root 7511 0.0 0.0 112724 996 pts/0 S+ 16:58 0:00 grep --color=auto haproxy

//如果只有一个进程，那么把上面的命令复制一下，追加-sf [pid]

[root@youxi1 ~]# /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid -sf 7224

[root@youxi1 ~]# ps aux | grep haproxy

nobody 7513 0.0 0.0 12272 824 ? Ss 17:00 0:00 /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid -sf 7224

root 7516 0.0 0.0 112724 996 pts/0 S+ 17:00 0:00 grep --color=auto haproxy

//如果是多个命令，或者不想看PID，也可以复制上面的命令，最佳-sf $(cat /usr/local/haproxy/run/haproxy.pid)

[root@youxi1 ~]# /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid -sf $(cat /usr/local/haproxy/run/haproxy.pid)

[root@youxi1 ~]# ps aux | grep haproxy

nobody 7532 0.0 0.0 12272 824 ? Ss 17:03 0:00 /usr/sbin/haproxy -D -f /usr/local/haproxy/etc/haproxy.cfg -p /usr/local/haproxy/run/haproxy.pid -sf 7513

root 7534 0.0 0.0 112724 992 pts/0 S+ 17:03 0:00 grep --color=auto haproxy

　　添加开机自启

[root@youxi1 ~]# chkconfig --add haproxy

[root@youxi1 ~]# chkconfig --list haproxy

haproxy         0:关    1:关    2:关    3:关    4:关    5:关    6:关

[root@youxi1 ~]# chkconfig haproxy on

[root@youxi1 ~]# chkconfig --list haproxy

haproxy         0:关    1:关    2:开    3:开    4:开    5:开    6:关

　　结束所有haproxy，使用killall（不要用killall5，好像会导致断开，可能是我用的有问题吧），如果没有killall使用命令yum -y install psmisc安装

[root@youxi1 ~]# killall haproxy

[root@youxi1 ~]# ps aux | grep haproxy

root      10786  0.0  0.0 112724   996 pts/0    S+   01:44   0:00 grep --color=auto haproxy

　　如果防火墙开启来记得添加端口号

[root@youxi1 ~]# firewall-cmd --permanent --zone=public --add-port=80/tcp && firewall-cmd --reload

success

success

　2）配置后端服务器youxi2和youxi3

　　我这边做实验，一切从简。

[root@youxi2 ~]# yum -y install httpd php

[root@youxi2 ~]# echo youxi2 > /var/www/html/index.html

[root@youxi2 ~]# systemctl start httpd

[root@youxi2 ~]# systemctl enable httpd

Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

[root@youxi1 ~]# yum -y install httpd php

[root@youxi1 ~]# echo youxi3 > /var/www/html/index.html

[root@youxi1 ~]# systemctl start httpd

[root@youxi1 ~]# systemctl enable httpd

Created symlink from /etc/systemd/system/multi-user.target.wants/httpd.service to /usr/lib/systemd/system/httpd.service.

　　防火墙启动时记得添加端口号

[root@youxi2 ~]# firewall-cmd --permanent --zone=public --add-port=80/tcp && firewall-cmd --reload

success

success

[root@youxi3 ~]# firewall-cmd --permanent --zone=public --add-port=80/tcp && firewall-cmd --reload

success

success

　3）测试

　　首先查看下监控页面

　　然后直接访问负载均衡器

　　此时回头看监控页面，可以看出是平均分配的

参考：https://www.cnblogs.com/happy1983/p/9265358.html

码农公寓

相关文章