微服务实战之春云与刀客（五）—— spring cloud与docker swarm集群

2021-12-20 00:54:17

概述

微服务与docker结合是必然的趋势，本文介绍spring cloud与docker swarm集群实现微服务极简部署，不需要编写Dockerfile，不需要docker-compose编排容器。
上一篇文章已经介绍了docker swarm的环境搭建，这里不再叙述。
主要包含步骤：

结合maven docker 插件直接编译jar 包，生成和推送应用镜像。
通过docker swarm 命令创建服务。
线下和线上结合，自动化部署

制作java基础镜像

java镜像是spring boot应用的基础，这里基于openjdk:8，加入了时区，制作成了openjdk-tiejia:8

新建Dockerfile

FROM openjdk:8
RUN cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime && \ 
    echo 'Asia/Shanghai' >/etc/timezone

生成镜像
docker build -t 192.168.0.37:5000/openjdk-tiejia:8
推送
docker push 192.168.0.37:5000/openjdk-tiejia:8

docker-maven-plugin 插件与规范

docker-maven-plugin 插件可以通过maven生成镜像，作用跟Dockerfile类似。
docker-maven-plugin也很简单：先编译java项目生成jar包，然后加入到openjdk-tiejia:8 镜像，生成新的镜像，最终新的镜像就是java环境+jar包。

spring cloud maven 项目结构（可以参考之前几篇文章）

下面以finance金融微服务来说明。

公共父级pom文件
cehome-cloud-parent-0.0.1-SNAPSHOT.pom 是所有项目的公共父级pom文件，里面包含 spring boot/cloud 版本信息和引用了docker maven 插件。这样的好处无须在每个项目都引入docker maven 插件。
项目目录结构
每个微服务都包含了api和service两个模块，api是接口定义，service是代码实现。

spring_cloudfinancepom.xml：项目父pom模块
spring_cloudfinancefinance-servicepom.xml：主体服务
spring_cloudfinancefinance-apipom.xml：接口定义

pom详情以及docker-maven-plugin 插件使用

也就是说，有4中pom文件，分别是公共父pom、项目父pom、api定义pom、service实现pom

1）公共父pom
这个文件除了定义spring cloud 依赖，还包含了 docker-maven-plugin（https://github.com/spotify/docker-maven-plugin），插件说明可以直接查看xml中的注释。此插件对应命令为 mvn package docker:build 。
在properties中设置开关属性skipDockerBuild=true ，意思是缺省忽略docker编译。一般都多模块的项目只有主模块需要生成镜像，其它是不需要的，所以缺省是忽略。例如我们的项目api模块不需要DockerBuild，只有service模块需要生成的spring boot jar包、需要打镜像，则在properties中设置skipDockerBuild为false即可。
插件配置entryPoint的java命令我们已经加入了部分固定的jvm参数，

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <groupId>com.cehome.cloud</groupId>
  <artifactId>cehome-cloud-parent</artifactId>
  <version>0.0.1-SNAPSHOT</version>
  <packaging>pom</packaging>
  <parent>
        <groupId>org.springframework.boot</groupId>
        <artifactId>spring-boot-starter-parent</artifactId>
        <version>1.5.7.RELEASE</version>
        <relativePath/> <!-- lookup parent from repository -->
  </parent>
  
      <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <project.reporting.outputEncoding>UTF-8</project.reporting.outputEncoding>
        <java.version>1.8</java.version>
        <mybatis-version>1.3.0</mybatis-version>
        <skipDockerBuild>true</skipDockerBuild>
  </properties>  
  
  <dependencyManagement>
    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-dependencies</artifactId>
            <version>1.5.7.RELEASE</version>
            <type>pom</type>
            <scope>import</scope>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-dependencies</artifactId>
            <version>Dalston.SR3</version> 
            <type>pom</type>
            <scope>import</scope>
        </dependency>
    </dependencies>
  </dependencyManagement>

  <distributionManagement>
        <repository>
            <id>internal-releases</id>
            <name>Local Release Repository</name>
            <url>http://192.168.0.12:8080/nexus/content/repositories/releases/</url>
        </repository>
        <snapshotRepository>
            <id>internal-snapshots</id>
            <name>Local Snapshot Repository</name>
            <url>http://192.168.0.12:8080/nexus/content/repositories/snapshots/</url>
        </snapshotRepository>
    </distributionManagement>

  <build>
        <finalName>${project.artifactId}</finalName>
        <plugins>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>com.spotify</groupId>
                <artifactId>docker-maven-plugin</artifactId>
                <version>0.4.13</version>
                <configuration>
                    <!-- skipDockerBuild 是开关，skipDockerBuild=true ，意思是忽略docker编译 -->
                    <skipDockerBuild>${skipDockerBuild}</skipDockerBuild>
                    <!-- 随便起名 -->
                    <imageName>192.168.0.37:5000/cehome/${project.artifactId}</imageName>
                    <!-- 基础镜像，这里用java 8，也可以 java或java:7 -->
                    <baseImage>192.168.0.37:5000/openjdk-tiejia:8</baseImage>
                    <!-- 启动后执行的命令 -->
                    <entryPoint>["java","-verbose:gc", "-Xloggc:/root/logs/gc.log", "-XX:+PrintGCTimeStamps", "-XX:+PrintGCDetails","-XX:+HeapDumpOnOutOfMemoryError", "-XX:HeapDumpPath=/root/dump","-Dsystem.out.filename=/root/logs/%tF.out" ]</entryPoint>
                    <!-- 往基础镜像里面拷贝的资源，这里只拷贝编译后的jar -->
                    <resources>
                        <resource>
                            <targetPath>/</targetPath>
                            <directory>${project.build.directory}</directory>
                            <include>${project.build.finalName}.jar</include>
                        </resource>
                    </resources>
                </configuration>
            </plugin>
        </plugins>
   </build>

</project>

2）项目父pom
只需要集成公共父pom、包含finance-api、finance-service模块。

 <project xmlns="http://maven.apache.org/POM/4.0.0"
         xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
         xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>com.cehome.cloud</groupId>
        <artifactId>cehome-cloud-parent</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </parent>
    <artifactId>finance</artifactId>
    <packaging>pom</packaging>
    <modules>
        <module>finance-api</module>
        <module>finance-service</module>
    </modules>
</project>

3）api定义pom
引入了公共父pom、依赖feign ，还有一个spring-boot-thin-layout 插件作用是编译成普通jar包而不是spring boot肥jar。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>com.cehome.cloud</groupId>
        <artifactId>cehome-cloud-parent</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </parent>
    <artifactId>finance-api</artifactId>
    <packaging>jar</packaging>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
    </properties>
    <dependencies>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-feign</artifactId>
            <scope>provided</scope>
        </dependency>
        
    </dependencies>
    <build>
        <plugins>
            <plugin>
                <artifactId>maven-compiler-plugin</artifactId>
            </plugin>
            <plugin>
                <groupId>org.springframework.boot</groupId>
                <artifactId>spring-boot-maven-plugin</artifactId>
                <dependencies>
                    <dependency>
                        <groupId>org.springframework.boot.experimental</groupId>
                        <artifactId>spring-boot-thin-layout</artifactId>
                        <version>1.0.5.RELEASE</version>
                    </dependency>
                </dependencies>
            </plugin>
        </plugins>
    </build>
</project>

3）service实现pom
继承项目父pom。
它是生成镜像的模块，需要设置属性

<skipDockerBuild>false</skipDockerBuild>

依赖spring cloud 模块、依赖finance-api接口模块。

<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
    xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>
    <parent>
        <groupId>com.cehome.cloud</groupId>
        <artifactId>finance</artifactId>
        <version>0.0.1-SNAPSHOT</version>
    </parent>
    <artifactId>finance-service</artifactId>
    <packaging>jar</packaging>
    <properties>
        <project.build.sourceEncoding>UTF-8</project.build.sourceEncoding>
        <skipDockerBuild>false</skipDockerBuild>
    </properties>

    <dependencies>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-configuration-processor</artifactId>
            <optional>true</optional>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-feign</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-eureka</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>
        
        <dependency>
            <groupId>com.cehome.cloud</groupId>
            <artifactId>finance-api</artifactId>
            <version>0.0.1-SNAPSHOT</version>
        </dependency>
        
    </dependencies>

</project>

maven 编译、生成和推送镜像

mvn clean package docker:build  -U -DpushImage -DdockerImageTags  -DdockerImageTags=`date +%Y%m%d`

-DdockerImageTags 为镜像tag，这里用了当前日期变量（如：20171125）

-DpushImage 指生成镜像后还继续推送镜像，镜像的目标地址在公共父pom中已经指定好了（192.168.0.37:5000/cehome/${project.artifactId}），这个镜像在后面创建服务的时候需要用到。

部署 eureka注册中心

注册中心建议通过单机方式来部署

eureka项目代码开发
代码略，eureka是个单模块的项目，只给出pom文件

<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
  <modelVersion>4.0.0</modelVersion>
  <parent>
    <groupId>com.cehome.cloud</groupId>
    <artifactId>cehome-cloud-parent</artifactId>
    <version>0.0.1-SNAPSHOT</version>
  </parent>
    <properties>
        <!-- build  docker images-->
        <skipDockerBuild>false</skipDockerBuild>
    </properties>
  <artifactId>eureka</artifactId>
    <packaging>jar</packaging>
  
  <dependencies> 
      <dependency>
            <groupId>org.springframework.cloud</groupId>
            <artifactId>spring-cloud-starter-eureka-server</artifactId>
         </dependency> 
  </dependencies>
</project>

maven编译和推送镜像

clean package docker:build -U -DpushImage -DdockerImageTags -DdockerImageTags=date +%Y%m%d

在0.37/0.38两台机器分别执行如下代码启动注册中心
docker pull 192.168.0.37:5000/cehome/eureka

docker stop eureka
docker kill eureka

docker run -itd --rm --net=host --hostname vm-eureka --name eureka 192.168.0.37:5000/cehome/eureka\
-Xms512m -Xmx512m -XX:MaxMetaspaceSize=256m -jar ./eureka.jar

注意问题：eureka 两个节点是互为注册，eureka.client.serviceUrl.defaultZone 参数不能包含两个节点的url，只能是对方的url，例如在0.37上，defaultZone要指向0.38，参考：

eureka.client.fetch-registry=false
eureka.client.register-with-eureka=true
eureka.client.serviceUrl.defaultZone=http://192.168.0.38:8761/eureka/
logging.level.root=info
server.port=8761
spring.application.name=eureka

为了保持一份代码，一种方式是java 命令行中带上了spring boot支持的 --eureka.client.serviceUrl.defaultZone参数；另一个办法就是在ureka.client.serviceUrl.defaultZone配上两个地址，然后在代码中动态去掉本机的地址，这个稍微麻烦。

访问 192.168.0.37:8761
看到ds replicas 和下面的registered-replicas、available-replicas指向0.38就是对了。

同样访问192.168.0.38:8761，ds replicas等指向0.37才对。

集群服务部署

这里用operation运营微服务来说明。

生成、推送镜像

spring_cloud/operation

生成、推送镜像

clean package docker:build -U -DpushImage -DdockerImageTags -DdockerImageTags=date +%Y%m%d

第一次部署服务（创建服务）

docker service create \
 --replicas 2 \
 --name operation-service\
 --network tiejia \
 --publish 8804:8804\
 --hostname="vm-{{.Service.Name}}-{{.Task.Slot}}" \
 --mount type=volume,src={{.Service.Name}}-{{.Task.Slot}},dst=/root \
 --detach=false  \
  192.168.0.37:5000/cehome/operation-service\
 -Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m  -jar ./operation-service.jar

命令说明：

docker service create  //创建服务命令
 --replicas 2 // 两个节点
 --name operation-service //服务名称
 --network tiejia //服务使用网络，参考前一篇文章中的网络创建
 --publish 8804:8804 //对外：对内端口映射
 //{{.Service.Name}} 指向--name，即operation-service；{{.Task.Slot}}指节点编号：1,2
 --hostname="vm-{{.Service.Name}}-{{.Task.Slot}}" 
 // 目录映射
 --mount type=volume,src={{.Service.Name}}-{{.Task.Slot}},dst=/root 
 --detach=false   
  192.168.0.37:5000/cehome/operation-service //镜像地址
 -Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m  -jar ./operation-service.jar //java 参数

hostname、mount 两个参数可以不用
mount type=volume 方式会自动创建指定的目录，但必须挂载在/var/lib/docker/volumes/ 路径下；type=bind 方式需要手工创建目标目录，但可以是任意路径。微服务涉及多个节点，用volume 不用手工去创建目录了。

第二次部署服务（更新服务）

docker service update \
 --update-delay 40s\
 --detach=false\
 operation-service

当原有镜像有修改则会重新部署，否则不会部署。
可以加入 --force 参数，不管镜像更新不更新都会重启。
--update-delay 两个节点启动间隔。这个不会判断第一个节点是否启动完毕了，只是第一个节点开始部署40秒后就部署第二个节点。后面会讲到如何避免此类问题。

伸缩服务节点

docker service scale --detach=false operation-service=3

回滚到上一版本

--rollback 只能回滚到上一次执行 docker service update 之前的状态,并不能无限制地回滚
docker service rollback operation-service
或
docker service update --rollback operation-service

回滚到任意版本

前面push镜像时（查dockerImageTags）都会打上了一个日期的tag，通过这个tag可以重新启动任意日期的版本，达到回滚的目的。

查看已有的版本

images

启动20180725版本

docker service update \
--image 192.168.0.37:5000/cehome/operation-service:20180725\
 --update-delay 40s\
 --detach=false\
 operation-service

重新修改java 参数

 docker service update  --args "-Xms512m -Xmx512m -XX:MaxMetaspaceSize=256m  -jar ./operation-service.jar" --detach=false  operation-service

查看集群日志

docker service logs operation-service

线下和线上结合，自动化部署

方案实施

上面介绍的内容可以认为是线下环境，我们还需要考虑线下、线上结合Jenkins实现自动化部署。

线下通过Jenkins 实现svn或git拉取代码、maven编译jar包和生成、推送镜像。
通过 Jenkins来调用docker service 命令，实现线下自动化部署。
部署后进行线下测试。
测试完毕后，通过Jenkins进行预发和线上环境的部署。

注意问题：

我们所有项目都使用配置中心来管理线下和线上的配置，代码和配置是分离的。这样只需要线下打包（生成镜像）一次就能线上直接使用，从效率和安全方面都得到提高。
线上也需要访问私有镜像仓库，以便拉取镜像启动服务。如果线上无法访问私有镜像仓库，则需要在线上单独创建一个私有镜像仓库，从线下在push到线上去

镜像打上线上dockerhub.tiejia.com标签
docker tag 192.168.0.37:5000/cehome/eureka dockerhub.tiejia.com/cehome/eureka
推送，第一次推送会慢一些，第二次是增量的，只把添加到镜像的jar包上传。
docker push  dockerhub.tiejia.com/cehome/eureka

线上环境准备

预发环境集群至少需要1台机器，推荐3台机器，全部部署成manager节点。
生产环境集群至少需要3台生产机器，全部部署成manager节点。 manager需要奇数个以便选举主节点，推荐是7台
具体部署参考之前的文章。

微服务预发和生产环境区分

微服务通过eureka注册中心shi实现互相访问，所以在预发环境部署一套eureka，生产环境部署两个eureka。各服务分别连到预发或生产的eureka就可以自动区分开来。

镜像、容器维护

本地镜像、容器删除

docker system prune -a
-a, --all Remove all unused images not just dangling ones

私服镜像维护

查看所有镜像（忽略版本）

http://192.168.0.37:5000/v2/_catalog
{"repositories":["cehome/account-service","cehome/audit-service","cehome/call-center-service","。。。

查看某一个镜像

http://192.168.0.37:5000/v2/cehome/account-service/tags/list
{"name":"cehome/account-service","tags":["20180408","latest","20180410","20180411","20180413",

清除旧镜像

安装pip
yum -y install epel-release

yum install python-pip
pip install --upgrade pip
https://blog.csdn.net/yulei_qq/article/details/52984334

安装requests

pip install requests

安装清理主程序

https://github.com/burnettk/delete-docker-registry-image
1）安装
curl https://raw.githubusercontent.com/burnettk/delete-docker-registry-image/master/delete_docker_registry_image.py | sudo tee /usr/local/bin/delete_docker_registry_image >/dev/null
sudo chmod a+x /usr/local/bin/delete_docker_registry_image
2）修改 /usr/local/bin/delete_docker_registry_image，找到registry_data_dir 改为实际的私服存储路径（也可以在环境变量REGISTRY_DATA_DIR指定）：
if 'REGISTRY_DATA_DIR' in os.environ:

    registry_data_dir = os.environ['REGISTRY_DATA_DIR']
else:
    registry_data_dir = "/root/hub/docker/registry/v2"

requests 模块在下面的工具要依赖。

继续安装清理脚本

curl https://raw.githubusercontent.com/burnettk/delete-docker-registry-image/master/clean_old_versions.py | sudo tee /usr/local/bin/clean_old_versions >/dev/null
sudo chmod a+x /usr/local/bin/clean_old_versions

执行

clean_old_versions --image '^.*' --exclude 'latest' -l 2 --registry-url http://192.168.0.37:5000

clean_old_versions --image '^cehome/user-service' --exclude 'latest' -l 2 --registry-url http://192.168.0.37:5000
{"name":"cehome/user-service","tags":["latest","20180627","20180705"]}

实践问题

docker limit问题

ulimit -n
centos7.2宿主机缺省是1024需要设置，docker容器缺省是65536可以不用设置

双物理机器，一台重启，当掉的服务会自动切换到另一台，第二台可能无法承受，如何处理？

自动启动服务本来这也是集群的一个优点，但对于仅2台机器来说则不太好。目前没找到禁止自动启动服务的办法，最好是集群有3台机器。

docker swarm 集群里面服务之间无法调用

1)部署operation-service 2个点后，到注册中心一看，只有一个点，地址是10.255.0.4，
2)进入容器发现有多个网卡，10.255.0.4这个网址在2个点都有，正确的应该是10.0.0.7

3)如何选择ip参考
http://www.mamicode.com/info-detail-1873672.html
具体的几个配置参考
http://blog.csdn.net/xichenguan/article/details/76557065
4）最终一种巧妙的解决办法，配置ip选择参数：
spring.cloud.inetutils.preferred-networks=none
none或随便其它非ip字符串则导致一个都ip都匹配不上！
最终结果让其忽略所有网卡ip，这样最终会取本地host：InetAddress.getLocalHost();
这个跟/etc/hosts 配置的一样，所以OK了。
附：
//前缀匹配10.0.0开头的ip
spring.cloud.inetutils.preferred-networks=10.0.0
//正则允许所以ip
spring.cloud.inetutils.preferred-networks=.+

健康检查与回滚

健康检查可以保证一个节点启动完毕才会启动另一个节点
docker service update --force --detach=false\
--health-cmd "curl --fail http://127.0.0.1:8820/startup-status?p=0 || exit 1" \

--health-interval 5s\
--health-retries=20 \
--health-timeout 2s\
  gateway

1）url必须返回0，表示成功；curl一般用127.0.0.1和内部端口，用实际ip不行（因为命令是在docker里面执行的）
2）上面表示每5秒执行一次，每次2秒超时，一共尝试20次。超时必须设置大一些，否则超时后会不断重启
3）如果url错误导致启动失败可以--no-healthcheck 恢复：
docker service update --force --detach=false --no-healthcheck gateway

加上回滚参数：
如下面把端口8820改成8830肯定curl是会失败，则会回滚

docker service update  --force --detach=false\
  --health-cmd "curl --fail http://127.0.0.1:8830/startup-status?p=0  || exit 1" \
    --health-interval 5s\
    --health-retries=20 \
    --health-timeout 2s\
    --update-failure-action rollback\
      gateway

--update-failure-action Action on update failure ("pause"|"continue"|"rollback")
缺省是paused

这个比--update-delay duration 保险，--update-delay 只是是两个点启动间隔，只是大概估计的时间，所以在健康检查上面的基础上加个几秒即可：--update-delay 5s

启动超时
加入健康检查后，如果重试若干次后超时，则会导致容器不断重启！！加入 restart-condition=none 来避免。
猜测：是app正常启动后有问题会触发update-failure-action；如果程序还没启动完就超时则触发restart-conditionjava

码农公寓

概述