docker-compose 部署 Apollo 自定义环境

2024-01-20 16:58:28

Apollo 配置中心是什么：

? Apollo是携程框架部门研发的开源配置管理中心，能够集中化管理应用不同环境、不同集群的配置，配置修改后能够实时推送到应用端，并且具备规范的权限、流程治理等特性。

Apollo的特性

统一管理不同环境、不同集群的配置
- Apollo提供了一个统一界面集中式管理不同环境（environment）、不同集群（cluster）、不同命名空间（namespace）的配置。
- 同一份代码部署在不同的集群，可以有不同的配置，比如zookeeper的地址等
- 通过命名空间（namespace）可以很方便地支持多个不同应用共享同一份配置，同时还允许应用对共享的配置进行覆盖
配置修改实时生效（热发布）
- 用户在Apollo修改完配置并发布后，客户端能实时（1秒）接收到最新的配置，并通知到应用程序
版本发布管理
- 所有的配置发布都有版本概念，从而可以方便地支持配置的回滚
灰度发布
- 支持配置的灰度发布，比如点了发布后，只对部分应用实例生效，等观察一段时间没问题后再推给所有应用实例
权限管理、发布审核、操作审计
- 应用和配置的管理都有完善的权限管理机制，对配置的管理还分为了编辑和发布两个环节，从而减少人为的错误。
- 所有的操作都有审计日志，可以方便地追踪问题
客户端配置信息监控
- 可以在界面上方便地看到配置在被哪些实例使用
提供Java和.Net原生客户端
- .Net的原生客户端，方便应用集成
- 同时提供了Http接口，非Java和.Net应用也可以方便地使用
提供开放平台API
- Apollo自身提供了比较完善的统一配置管理界面，支持多环境、多数据中心配置管理、权限、流程治理等特性。不过Apollo出于通用性考虑，不会对配置的修改做过多限制，只要符合基本的格式就能保存，不会针对不同的配置值进行针对性的校验，如数据库用户名、密码，Redis服务地址等
- 对于这类应用配置，Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布，并且具备完善的授权和权限控制
部署简单
- 配置中心作为基础服务，可用性要求非常高，这就要求Apollo对外部依赖尽可能地少
- 目前唯一的外部依赖是MySQL，所以部署非常简单，只要安装好Java和MySQL就可以让Apollo跑起来
- Apollo还提供了打包脚本，一键就可以生成所有需要的安装包，并且支持自定义运行时参数

客户端架构

架构和模块

一：Config Service提供配置的读取、推送等功能，服务对象是Apollo客户端

提供配置获取接口
提供配置更新推送接口（基于Http long polling）
- 服务端使用Spring DeferredResult实现异步化，从而大大增加长连接数量
- 目前使用的tomcat embed默认配置是最多10000个连接（可以调整），使用了4C8G的虚拟机实测可以支撑10000个连接，所以满足需求（一个应用实例只会发起一个长连接）。
接口服务对象为Apollo客户端

二：Admin Service提供配置的修改、发布等功能，服务对象是Apollo Portal（管理界面）

提供配置管理接口
提供配置修改、发布等接口
接口服务对象为Portal

三: Meta Server 在Eureka之上我们架了一层Meta Server用于封装Eureka的服务发现接口

Portal通过域名访问Meta Server获取Admin Service服务列表（IP+Port）
Client通过域名访问Meta Server获取Config Service服务列表（IP+Port）
Meta Server从Eureka获取Config Service和Admin Service的服务信息，相当于是一个Eureka Client
增设一个Meta Server的角色主要是为了封装服务发现的细节，对Portal和Client而言，永远通过一个Http接口获取Admin Service和Config Service的服务信息，而不需要关心背后实际的服务注册和发现组件
Meta Server只是一个逻辑角色，在部署时和Config Service是在一个JVM进程中的，所以IP、端口和Config Service一致

四：Eureka java的一个服务发现的组件

基于Eureka和Spring Cloud Netflix提供服务注册和发现
Config Service和Admin Service会向Eureka注册服务，并保持心跳
为了简单起见，目前Eureka在部署时和Config Service是在一个JVM进程中的（通过Spring Cloud Netflix）

五: Portal

提供Web界面供用户管理配置
通过Meta Server获取Admin Service服务列表（IP+Port），通过IP+Port访问服务
在Portal侧做load balance、错误重试

六:Client 客户端

Apollo提供的客户端程序，为应用提供配置获取、实时更新等功能
通过Meta Server获取Config Service服务列表（IP+Port），通过IP+Port访问服务
在Client侧做load balance、错误重试

部署

目前我们开发有多个开发的环境：dev ，devmt，uat ，等环境，阿波罗可以多环境部署，需要明确环境来部署
apollo 多环境部署，Config Service，Admin Service 需要根据环境各自部署一份，Portal 可以只部署一份，管理所有的环境
GitHub下载： https://github.com/ctripcorp/apollo 源码

自定义环境变量源码修改 ,建议查看源码的 github 文档文件中有代码的具体路径

Env com.ctrip.framework.apollo.core.enums 添加 DEVMT

public enum Env{
  LOCAL, DEV, FWS, FAT, UAT, LPT, PRO, TOOLS, UNKNOWN, DEVMT;

  public static Env fromString(String env) {
    Env environment = EnvUtils.transformEnv(env);
    Preconditions.checkArgument(environment != UNKNOWN, String.format("Env %s is invalid", env));
    return environment;
  }
}

EnvUtils com.ctrip.framework.apollo.core.enums 添加 DEVMT

public final class EnvUtils {
  
  public static Env transformEnv(String envName) {
    if (StringUtils.isBlank(envName)) {
      return Env.UNKNOWN;
    }
    switch (envName.trim().toUpperCase()) {
      case "LPT":
        return Env.LPT;
      case "FAT":
      case "FWS":
        return Env.FAT;
      case "UAT":
        return Env.UAT;
      case "PRO":
      case "PROD": //just in case
        return Env.PRO;
      case "DEV":
        return Env.DEV;
      case "LOCAL":
        return Env.LOCAL;
      case "TOOLS":
        return Env.TOOLS;
      case "DEVMT":
        return Env.DEVMT;
      default:
        return Env.UNKNOWN;
    }
  }
}

LegacyMetaServerProvider com.ctrip.framework.apollo.core.internals 添加 DEVMT

private void initialize() {
    Properties prop = new Properties();
    prop = ResourceUtils.readConfigFile("apollo-env.properties", prop);

    domains.put(Env.LOCAL, getMetaServerAddress(prop, "local_meta", "local.meta"));
    domains.put(Env.DEV, getMetaServerAddress(prop, "dev_meta", "dev.meta"));
    domains.put(Env.FAT, getMetaServerAddress(prop, "fat_meta", "fat.meta"));
    domains.put(Env.UAT, getMetaServerAddress(prop, "uat_meta", "uat.meta"));
    domains.put(Env.LPT, getMetaServerAddress(prop, "lpt_meta", "lpt.meta"));
    domains.put(Env.PRO, getMetaServerAddress(prop, "pro_meta", "pro.meta"));
    domains.put(Env.SIT, getMetaServerAddress(prop, "devmt_meta", "devmt.meta"));
  }

检查，安装 JAVA JDK 和 Maven ,进入源码文件夹 Scripts 下执行 Build 文件，编译打包apollo
复制 apollo-configservice/target ，apollo-adminservice/target ，apollo-portal/target ,文件下面的zip 文件和Dockerfile 到指定的文件夹，如下图
修改 configservice，adminservice，portal ，Dockerfile 文件中的版本号和zip文件的版本号一致

在源码的Scripts 文件夹下面找到sql的部署脚本，在Mysql中执行，

修改 apolloconfigdb，eureka.service.url 的地址为，Configservice 部署的地址例如，http://192.168.xx.xxx:8081/eureka/，
修改portal 的 apollo.portal.envs 为：多环境部署的环境变量，例如 dev,devmt
修改portal 的apollo.portal.meta.servers 为：部署的Configservice 部署的地址，例如
```
{
    "DEV":"http://192.168.xx.xxx:8081",
    "DEVMT":"http://192.168.xx.xxx:8082"
}
```

编写docker-compose.yml

version: "3"
services:
  apollo-configservice:
    container_name: apollo-configservice
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8081:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice:
    container_name: apollo-adminservice
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8091:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbdev?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-configservice-uat:
    container_name: apollo-configservice-uat
    build: apollo-configservice/ 
    image: apollo-configservice
    ports:
      - 8082:8080
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx

  apollo-adminservice-uat:
    container_name: apollo-adminservice-uat
    build: apollo-adminservice/ 
    image: apollo-adminservice
    ports:
      - 8092:8090
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloconfigdbuat?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
  
  apollo-portal:
    container_name: apollo-portal
    build: apollo-portal/
    image: apollo-portal
    restart: always
    depends_on:
      - apollo-adminservice
    environment:
      - SPRING_DATASOURCE_URL= jdbc:mysql://192.168.xx.xxx:3306/apolloportaldb?characterEncoding=utf8&serverTimezone=Asia/Shanghai
      - SPRING_DATASOURCE_USERNAME= xxxxxx
      - SPRING_DATASOURCE_PASSWORD= xxxxxx
    volumes:
      - /root/apollo/apollocompose/logs:/opt/logs
      - /root/apollo/apollocompose/apollo-env.properties:/apollo-portal/config/apollo-env.properties
    ports:
      - 8071:8070

修改本地 apollo-env.properties 环境变量配置为：与自定义配置或携程定义的环境变量一致
```
dev.meta=http://localhost:8081
devmt.meta=http://localhost:8082
```
执行 docker-compose ，启动有延迟，多等待一会儿

踩坑

自定义环境变量需要下载源码，编译，sql脚本和数据库连接配置，一定要用官网最新的连接配置，不同版本，sql脚本可能不一致
部署机器的运行内存要充足
部署启动后，configservice，adminservice，portal ，Mata service ，Eureka 需要通讯，所以启动后，有延迟，等一段时间在看是否部署成功
服务器端口，防火墙需要开启对应的端口，8080,8090,8071 和自己指定的端口

学习链接

杨波老师架构解析文章:https://blog.csdn.net/yang75108/article/details/86989524?spm=1001.2014.3001.5501
Apollo 设计文档:https://www.apolloconfig.com/#/zh/design/apollo-design?id=_135-portal
Apollo 搭建自定义环境：https://www.jianshu.com/p/f84da093944f