Consul+upsync+Nginx 动态负载均衡

2023-01-29 22:43:56

1，动态负载均衡

传统的负载均衡，如果修改了nginx.conf 的配置，必须需要重启nginx 服务，效率不高。动态负载均衡，就是可配置化，动态化的去配置负载均衡。

2，实现方案

1. Consul+Consul-template 每次发现配置更改需要raload nginx，重启Nginx。

2. Consul+OpenResty 实现无需raload动态负载均衡

3. Consul+upsync+Nginx 实现无需raload动态负载均衡

3，Consul 简介

Consul是一款开源的分布式服务注册与发现系统，通过HTTP API可以使得服务注册、发现实现起来非常简单，它支持如下特性。

服务注册：服务实现者可以通过HTTP API或DNS方式，将服务注册到Consul。

服务发现：服务消费者可以通过HTTP API或DNS方式，从Consul获取服务的IP和PORT。

故障检测：支持如TCP、HTTP等方式的健康检查机制，从而当服务有故障时自动摘除。

K/V存储：使用K/V存储实现动态配置中心，其使用HTTP长轮询实现变更触发和配置更改。

多数据中心：支持多数据中心，可以按照数据中心注册和发现服务，即支持只消费本地机房服务，使用多数据中心集群还可以避免单数据中心的单点故障。

Raft算法：Consul使用Raft算法实现集群数据一致性。

4，Consul+upsync+Nginx 实现原理

Upsync是新浪微博开源的基于Nginx实现动态配置的三方模块。Nginx-Upsync-Module的功能是拉取Consul的后端server的列表，并动态更新Nginx的路由信息。此模块不依赖于任何第三方模块。Consul作为Nginx的DB，利用Consul的KV服务，每个Nginx Work进程独立的去拉取各个upstream的配置，并更新各自的路由。

ConsoleWeb--------k/v--------> ConsoleServer <-------upsync(间隔读取)-------- nginx

ConsoleServer 用来专门存储负载均衡的配置信息，nginx.conf

ConsoleWeb是一个可视化的界面展示ConsoleServer的界面

nginx 通过upsync (新浪开发的基于nginx 的一个相当于插件) 间隔读取ConsoleServer的配置信息，同时会在本地存放一份信息，如果宕机，也可以读取到当时配置的配置文件信息（留存）

5，安装consul

在/usr/local 目录下（自定义）

1.下载consul_0.7.5_linux_amd64.zip
wget https://releases.hashicorp.com/consul/0.7.5/consul_0.7.5_linux_amd64.zip

2.解压consul_0.7.5_linux_amd64.zip
unzip consul_0.7.5_linux_amd64.zip
如果解压出现该错误
-bash: unzip: 未找到命令
解决办法
yum -y install unzip

3. 执行以下 ./consul 有命令列表说明安装成功

4.启动consul
我的linux Ip地址192.168.170.110
./consul agent -dev -ui -node=consul-dev -client=192.168.170.110

5.临时关闭防火墙systemctl stop firewalld

6.浏览器访问192.168.170.110:8500，web界面如下：

7，可以通过界面注册服务，Chrome 浏览器会有缓存，建议使用Firefox, consul 也提供了接口服务：

/v1/agent/checks : 返回本地agent注册的所有检查(包括配置文件和HTTP接口)

/v1/agent/services : 返回本地agent注册的所有 服务

/v1/agent/members : 返回agent在集群的gossip pool中看到的成员

/v1/agent/self : 返回本地agent的配置和成员信息

/v1/agent/join/<address> : 触发本地agent加入node

/v1/agent/force-leave/<node>>: 强制删除node

/v1/agent/check/register : 在本地agent增加一个检查项，使用PUT方法传输一个json格式的数据

/v1/agent/check/deregister/<checkID> : 注销一个本地agent的检查项

/v1/agent/check/pass/<checkID> : 设置一个本地检查项的状态为passing

/v1/agent/check/warn/<checkID> : 设置一个本地检查项的状态为warning

/v1/agent/check/fail/<checkID> : 设置一个本地检查项的状态为critical

/v1/agent/service/register : 在本地agent增加一个新的服务项，使用PUT方法传输一个json格式的数据

/v1/agent/service/deregister/<serviceID> : 注销一个本地agent的服务项

/v1/catalog/register : 注册一个新节点、服务或检查

/v1/catalog/deregister : 取消注册节点、服务或检查

/v1/catalog/datacenters : 列出已知数据中心

/v1/catalog/nodes : 列出给定DC中的节点

/v1/catalog/services : 列出给定DC中的服务

/v1/catalog/service/<service> : 列出给定服务中的节点

/v1/catalog/node/<node> : 列出节点提供的服务

例如：使用postman post 请求，调用如下的接口http://192.168.178.110:8500/v1/catalog/register 来注册服务，192.168.178.110 是consul 服务ip:

{"Datacenter": "dc1","Node":"tomcat", "Address":"192.168.43.27","Service": {"Id" :"192.168.43.27:8080", "Service": "aiyuesheng","tags": ["dev"], "Port": 8080}}

当返回true 的时候，这个服务就被注册到consul 服务里了

Datacenter指定数据中心，Address指定服务IP，Service.Id指定服务唯一标识，Service.Service指定服务分组，Service.tags指定服务标签（如测试环境、预发环境等），Service.Port指定服务端口。

6，搭建 nginx + consul + upsync

这套服务要求nginx 的版本最低1.9

step1:

安装Nginx ,实现反向代理、负载负载库

wget http://nginx.org/download/nginx-1.9.10.tar.gz

安装consul:动态负载均衡均配置实现注册

wget https://releases.hashicorp.com/consul/0.7.1/consul_0.7.1_linux_amd64.zip

安装nginx-upsync-module,间隔的去读取最新的nginx的配置信息

wget https://github.com/weibocom/nginx-upsync-module/archive/master.zip

step2:

unzip master.zip

unzip consul_0.7.1_linux_amd64.zip

如果解压出现该错误
-bash: unzip: 未找到命令
解决办法:
yum -y install unzip

step3:安装Nginx

解压： tar -zxvf nginx-1.9.10.tar.gz

配置Nginx：

groupadd nginx

useradd -g nginx -s /sbin/nologin nginx

mkdir -p /var/tmp/nginx/client/

mkdir -p /usr/local/nginx

编译Nginx

cd nginx-1.9.10

./configure   --prefix=/usr/local/nginx   --user=nginx   --group=nginx   --with-http_ssl_module   --with-http_flv_module   --with-http_stub_status_module   --with-http_gzip_static_module   --with-http_realip_module   --http-client-body-temp-path=/var/tmp/nginx/client/   --http-proxy-temp-path=/var/tmp/nginx/proxy/   --http-fastcgi-temp-path=/var/tmp/nginx/fcgi/   --http-uwsgi-temp-path=/var/tmp/nginx/uwsgi   --http-scgi-temp-path=/var/tmp/nginx/scgi   --with-pcre --add-module=../nginx-upsync-module-master

make && make install

编译的是报错

./configure: error: SSL modules require the OpenSSL library.

解决办法

yum -y install openssl openssl-devel

step4:配置upsync

mkdir /usr/local/nginx/conf/servers/

upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

step5:配置nginx

#动态去consul 获取注册的真实反向代理地址

   upstream aiyunsheng{

        server 127.0.0.1:11111;
        #超时是6m 间隔是500m
        #aiyuesheng 是我已经注册到consul里面的service,参照步骤8

        upsync 192.168.170.110:8500/v1/kv/upstreams/aiyunsheng upsync_timeout=6m upsync_interval=500ms upsync_type=consul strong_dependency=off;

        upsync_dump_path /usr/local/nginx/conf/servers/servers_test.conf;

    }

    server {

        listen       80;

        server_name  192.168.43.27;#你所要拦截的服务的ip

        location / {

            proxy_pass http://aiyunsheng;

            index  index.html index.htm;

        }

    }

upsync指令指定从consul哪个路径拉取上游服务器配置；

upsync_timeout配置从consul拉取上游服务器配置的超时时间；

upsync_interval配置从consul拉取上游服务器配置的间隔时间；

upsync_type指定使用consul配置服务器；

strong_dependency配置nginx在启动时是否强制依赖配置服务器，如果配置为on，则拉取配置失败时nginx启动同样失败。

upsync_dump_path指定从consul拉取的上游服务器后持久化到的位置，这样即使consul服务器出问题了，本地还有一个备份。

step6:启动console:

临时关闭防火墙systemctl stop firewalld

   ./consul agent -dev -ui -node=consul-dev -client=192.168.178.110

step7：启动nginx

/usr/local/nginx/sbin/nginx

ste8: 通过postman 向注册中心里面注册service 和在service 里面添加upstrean

注册service:

例如：使用postman post 请求，调用如下的接口http://192.168.178.110:8500/v1/catalog/register 来注册服务，192.168.178.110 是consul 服务ip:

{"Datacenter": "dc1","Node":"tomcat", "Address":"192.168.43.27","Service": {"Id" :"192.168.43.27:8080", "Service": "aiyuesheng","tags": ["dev"], "Port": 8080}}

注册upstream:

使用postmen 发送put请求

http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8080

http://192.168.212.134:8500/v1/kv/upstreams/itmayiedu/192.168.43.27:8081

也可以用linux 命令：

1.使用linux命令方式发送put请求

curl -X PUT http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8080

curl -X PUT http://192.168.178.110:8500/v1/kv/upstreams/aiyuesheng/192.168.43.27:8081

step9:访问 http://192.168.178.110/ 直接访问consul 的服务地址

项目代码：

@RestController

public class Index {

    @Value("${server.port}")

    private String port;

    @RequestMapping("/")

    public String index() {

        return port;

    }

}

能实现nginx 从consul 读取配置，转发到我的真实服务中.....

step10: 若是载添加upstream,只需要调用接口直接载consul 添加就OK,无需重启nginx 服务。。。。

动态负载均衡就配置完成。

码农公寓

相关文章