Docker跨服务器通信Overlay解决方案(下) Consul集群

2023-12-14 12:02:15

承接上文

本文基于上篇文章，详细的场景说明与分析在前篇随笔中业已记录，有兴趣可以移步 Docker跨服务器通信Overlay解决方案(上) Consul单实例

本文主旨

本文为Docker使用Consul集群实现Overlay网络，解决Docker跨服务器内网通信问题。

整体架构为：Nginx + 3 x Conul

Consul集群搭建

环境说明

服务器OS	主机IP	Docker版本	网卡名	主机名
Ubuntu Server 18.04 LTS	192.168.87.133	18.09.6	ens33	hz
Ubuntu Server 18.04 LTS	192.168.87.139	18.09.7	ens33	hz2
Ubuntu Desktop 18.04 LTS	192.168.87.135	18.09.7	ens33	hz3

搭建过程

133服务器

docker run -d --network host -h node1 --name=consul-leader \
    -e CONSUL_BIND_INTERFACE=ens33 \
    -e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
    --restart=always \
    -v /home/hellxz/consul-data:/tmp/consul \
    consul:1.5.2 agent -server -bind=192.168.87.133 -bootstrap-expect=3 \
    -node=node1 -data-dir=/tmp/consul -client 0.0.0.0 -ui

139服务器

docker run -d --network host -h node2 --name=consul-server \
    -e CONSUL_BIND_INTERFACE=ens33 \
    -e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
    --restart=always \
    -v /home/hellxz/consul-data:/tmp/consul \
    consul:1.5.2 agent -server -bind=192.168.87.139 -join=192.168.87.133 \
    -node=node2 -data-dir=/tmp/consul -client 0.0.0.0 -ui

135服务器

docker run -d --network host -h node3 --name=consul-server2 \
    -e CONSUL_BIND_INTERFACE=ens33 \
    -e 'CONSUL_LOCAL_CONFIG={"skip_leave_on_interrupt": true}' \
    --restart=always \
    -v /home/hellxz/consul-data:/tmp/consul \
    consul:1.5.2 agent -server -bind=192.168.87.135 -join=192.168.87.133 \
    -node=node3 -data-dir=/tmp/consul -client 0.0.0.0 -ui

常用参数说明

CONSUL_BIND_INTERFACE：指向当前要使用的网卡
CONSUL_LOCAL_CONFIG：添加服务的配置，容器创建后会生成local.json，json串会添加进来
--restart=always：启动失败自动重启
-v挂载的数据目录一般用于-sever节点，其映射的位置与-data-dir保持一致
-join：加入到其它节点
-node：当前节点名
-data-dir：数据保存目录，-server节点才需要设置，只有server节点保存数据

更详细的参数说明

-advertise：通知展现地址用来改变我们给集群中的其他节点展现的地址，一般情况下-bind地址就是展现地址
-bootstrap：用来控制一个server是否在bootstrap模式，在一个datacenter中只能有一个server处于bootstrap模式，当一个server处于bootstrap模式时，可以自己选举为raft leader。
-bootstrap-expect：在一个datacenter中期望提供的server节点数目，当该值提供的时候，consul一直等到达到指定sever数目的时候才会引导整个集群，该标记不能和bootstrap公用
-bind：该地址用来在集群内部的通讯，集群内的所有节点到地址都必须是可达的，默认是0.0.0.0
-client：consul绑定在哪个client地址上，这个地址提供HTTP、DNS、RPC等服务，默认是127.0.0.1
-config-file：明确的指定要加载哪个配置文件
-config-dir：配置文件目录，里面所有以.json结尾的文件都会被加载
-data-dir：提供一个目录用来存放agent的状态，所有的agent允许都需要该目录，该目录必须是稳定的，系统重启后都继续存在
-dc：该标记控制agent允许的datacenter的名称，默认是dc1
-encrypt：指定secret key，使consul在通讯时进行加密，key可以通过consul keygen生成，同一个集群中的节点必须使用相同的key
-join：加入一个已经启动的agent的ip地址，可以多次指定多个agent的地址。如果consul不能加入任何指定的地址中，则agent会启动失败，默认agent启动时不会加入任何节点。
-retry-join：和join类似，但是允许你在第一次失败后进行尝试。
-retry-interval：两次join之间的时间间隔，默认是30s
-retry-max：尝试重复join的次数，默认是0，也就是无限次尝试
-log-level：consul agent启动后显示的日志信息级别。默认是info，可选：trace、debug、info、warn、err。
-node：节点在集群中的名称，在一个集群中必须是唯一的，默认是该节点的主机名
-protocol：consul使用的协议版本
-rejoin：使consul忽略先前的离开，在再次启动后仍旧尝试加入集群中。
-server：定义agent运行在server模式，每个集群至少有一个server，建议每个集群的server不要超过5个
-syslog：开启系统日志功能，只在linux/osx上生效
-ui-dir:提供存放web ui资源的路径，该目录必须是可读的
-pid-file:提供一个路径来存放pid文件，可以使用该文件进行SIGINT/SIGHUP(关闭/更新)agent

查看Consul集群状态

访问其中一个节点即可看到集群状态

注意事项

每台运行docker的主机都不能同hostname，可以使用

# hostnamectl set-hostname your-new-hostname

同hostname会导致同名的主机docker无法互相通信

光有consul集群是不够的，docker只能配置一个注册的url，所以需要做负载均衡，这里使用nginx

Nginx配置

Nginx安装参考http://nginx.org/en/docs/install.html

配置只需要在/etc/nginx/nginx.conf下添加监听与负载均衡的配置

这里将nginx配置在了我的win10上，ip: 10.2.7.59 配置在别处也是一样的

如以下关键片段：

http {
    include       mime.types;
    default_type  application/octet-stream;
    sendfile        on;
    keepalive_timeout  65;

    #consul集群负载均衡
    upstream consul {
        server 192.168.87.133:8500; #可以通过添加weight进行加权重
        server 192.168.87.139:8500;
        server 192.168.87.135:8500;
    }
    #监听本机8500端口，转发到upstream consul下
    server {
        listen 8500;
        location / {
            proxy_pass http://consul;
        }
    }
}

保存，重启nginx

配置各服务节点docker daemon

修改 `/etc/docker/daemon.json`

添加cluster-store与cluster-advertise配置

  {
    "registry-mirrors": ["https://7uuu3esz.mirror.aliyuncs.com"],
    "log-driver":"json-file",
    "log-opts": {"max-size":"500m", "max-file":"3"},
    "insecure-registries": ["10.2.7.70:5000"],
    "cluster-store": "consul://10.2.7.59:8500",
    "cluster-advertise": "ens33:2375"
  }

cluster-store配置的是nginx监听的地址

cluster-advertise指定的是docker的宿主机注册到consul中的指定网卡中的ip，也可以写ip和端口号，端口只要没被占用就可以了

重启docker

$ sudo systemctl daemon-reload
$ sudo systemctl restart docker

测试

等待docker重启完毕，进入consul的UI

我们可以发现Key/Value下有了docker的key，点开docker有了如上图的docker daemon注册的信息

在以上列表中的133节点上创建个overlay网络 my-overlay-test

$ docker network create -d overlay my-overlay-test

后续的在上篇文章已经测试过了，本文结束，如有问题，望不吝评论！

本文系Hellxz学习与实践文章，禁止布布扣、码迷等第三方爬虫网站爬取

码农公寓