携程开源框架Apollo基础学习(一)

工作中经常会遇到许多本菜鸡之前听都没听过的东西...这就是其中之一,为此俺去学习了下基础部分,算是先入个门。
本文知识点主要来自于github的教程&各位csdn/博客园博主的总结。
下面让我娓娓道来~

参考链接:
Github链接:
https://github.com/ctripcorp/apollo

部署文档:
1.https://ctripcorp.github.io/apollo/#/zh/deployment/quick-start

2.https://blog.csdn.net/u010775025/article/details/79162428?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-3&spm=1001.2101.3001.4242

3.https://blog.csdn.net/qq_34707456/article/details/103702828

知识点链接:
1.https://github.com/ctripcorp/apollo/wiki/Apollo%E9%85%8D%E7%BD%AE%E4%B8%AD%E5%BF%83%E4%BB%8B%E7%BB%8D?spm=a2c4e.11153940.blogcont74601.16.1b034f36HWlAZj#1what-is-apollo

2.https://blog.csdn.net/WATERMELON2016/article/details/93634618

使用Apollo是为了解决什么问题?

现在开发同一份程序都会在不同的环境下运行,最常见的就是开发环境、测试环境、预发布环境、生产环境等。如何在不同环境下进行配置切换呢?最传统,最手工的做法就是每发布一个环境,就手动更改配置。这种做法,会导致配置错误,浪费大量时间。后来就发现了,使用maven管理配置,配置写在文件中,maven打包的时候,根据你的打包命令,扫描文件,并替换文件中的'{}'中的内容。虽然这样的操作已经能节约很大的时间成本,但是和上一种手工操作一样,存在一个很重大的问题——重要信息泄露。

配置信息中会有数据库的连接信息和密码等信息,以及其他关键信息。不能保证每个程序员都有良好的品格,不会因为各种理由攻击,或者修改数据库。这时候,就需要配置信息掌握在少数人的手中。

当然Apollo也并不是只解决了上面阐述的问题,还解决了权限、灰度发布、集群配置等问题。

What is Apollo

1.背景

随着程序功能的日益复杂,程序的配置日益增多:各种功能的开关、参数的配置、服务器的地址……
对程序配置的期望值也越来越高:配置修改后实时生效,灰度发布,分环境、分集群管理配置,完善的权限、审核机制……
在这样的大环境下,传统的通过配置文件、数据库等方式已经越来越无法满足开发人员对配置管理的需求。
Apollo配置中心应运而生!

2.Apollo简介

Apollo(阿波罗)是携程框架部门研发的开源配置管理中心,能够集中化管理应用不同环境、不同集群的配置,配置修改后能够实时推送到应用端,并且具备规范的权限、流程治理等特性。
Apollo支持4个维度管理Key-Value格式的配置:
1.application (应用)
2.environment (环境)
3.cluster (集群)
4.namespace (命名空间)
同时,Apollo基于开源模式开发,开源地址:https://github.com/ctripcorp/apollo

3.配置基本概念

既然Apollo定位于配置中心,那么在这里有必要先简单介绍一下什么是配置。
按照我们的理解,配置有以下几个属性:

配置是独立于程序的只读变量
  • 配置首先是独立于程序的,同一份程序在不同的配置下会有不同的行为。
  • 其次,配置对于程序是只读的,程序通过读取配置来改变自己的行为,但是程序不应该去改变配置。
  • 常见的配置有:DB Connection Str、Thread Pool Size、Buffer Size、Request Timeout、Feature Switch、Server Urls等。
配置伴随应用的整个生命周期
  • 配置贯穿于应用的整个生命周期,应用在启动时通过读取配置来初始化,在运行时根据配置调整行为。
配置可以有多种加载方式
  • 配置也有很多种加载方式,常见的有程序内部hard code,配置文件,环境变量,启动参数,基于数据库等
配置需要治理

权限控制

  • 由于配置能改变程序的行为,不正确的配置甚至能引起灾难,所以对配置的修改必须有比较完善的权限控制

不同环境、集群配置管理

  • 同一份程序在不同的环境(开发,测试,生产)、不同的集群(如不同的数据中心)经常需要有不同的配置,所以需要有完善的环境、集群配置管理

框架类组件配置管理

  • 还有一类比较特殊的配置 - 框架类组件配置,比如CAT客户端的配置。
  • 虽然这类框架类组件是由其他团队开发、维护,但是运行时是在业务实际应用内的,所以本质上可以认为框架类组件也是应用的一部分。
  • 这类组件对应的配置也需要有比较完善的管理方式。

Why Apollo

正是基于配置的特殊性,所以Apollo从设计之初就立志于成为一个有治理能力的配置发布平台,目前提供了以下的特性:

统一管理不同环境、不同集群的配置

  • Apollo提供了一个统一界面集中式管理不同环境(environment)、不同集群(cluster)、不同命名空间(namespace)的配置。
  • 同一份代码部署在不同的集群,可以有不同的配置,比如zookeeper的地址等
  • 通过命名空间(namespace)可以很方便地支持多个不同应用共享同一份配置,同时还允许应用对共享的配置进行覆盖

配置修改实时生效(热发布)

  • 用户在Apollo修改完配置并发布后,客户端能实时(1秒)接收到最新的配置,并通知到应用程序

版本发布管理

  • 所有的配置发布都有版本概念,从而可以方便地支持配置的回滚

灰度发布

  • 支持配置的灰度发布,比如点了发布后,只对部分应用实例生效,等观察一段时间没问题后再推给所有应用实例

权限管理、发布审核、操作审计

  • 应用和配置的管理都有完善的权限管理机制,对配置的管理还分为了编辑和发布两个环节,从而减少人为的错误。
  • 所有的操作都有审计日志,可以方便地追踪问题

客户端配置信息监控

  • 可以在界面上方便地看到配置在被哪些实例使用

提供Java和.Net原生客户端

  • 提供了Java和.Net的原生客户端,方便应用集成
  • 支持Spring Placeholder, Annotation和Spring Boot的ConfigurationProperties,方便应用使用(需要Spring 3.1.1+)
  • 同时提供了Http接口,非Java和.Net应用也可以方便地使用

提供开放平台API

  • Apollo自身提供了比较完善的统一配置管理界面,支持多环境、多数据中心配置管理、权限、流程治理等特性。不过Apollo出于通用性考虑,不会对配置的修改做过多限制,只要符合基本的格式就能保存,不会针对不同的配置值进行针对性的校验,如数据库用户名、密码,Redis服务地址等
  • 对于这类应用配置,Apollo支持应用方通过开放平台API在Apollo进行配置的修改和发布,并且具备完善的授权和权限控制

部署简单

  • 配置中心作为基础服务,可用性要求非常高,这就要求Apollo对外部依赖尽可能地少
  • 目前唯一的外部依赖是MySQL,所以部署非常简单,只要安装好Java和MySQL就可以让Apollo跑起来
  • Apollo还提供了打包脚本,一键就可以生成所有需要的安装包,并且支持自定义运行时参数

3.Apollo at a glance

1.基础模型

如下即是Apollo的基础模型:
1.用户在配置中心对配置进行修改并发布
2.配置中心通知Apollo客户端有配置更新
3.Apollo客户端从配置中心拉取最新的配置、更新本地配置并通知到应用

携程开源框架Apollo基础学习(一)

2.界面概览

携程开源框架Apollo基础学习(一)

上图是Apollo配置中心中一个项目的配置首页

  • 在页面左上方的环境列表模块展示了所有的环境和集群,用户可以随时切换。
  • 页面*展示了两个namespace(application和FX.apollo)的配置信息,默认按照表格模式展示、编辑。用户也可以切换到文本模式,以文件形式查看、编辑。
  • 页面上可以方便地进行发布、回滚、灰度、授权、查看更改历史和发布历史等操作

3.添加/修改配置项

用户可以通过配置中心界面方便的添加/修改配置项,更多使用说明请参见应用接入指南

携程开源框架Apollo基础学习(一)

输入配置信息:
携程开源框架Apollo基础学习(一)

4.发布配置

通过配置中心发布配置:
携程开源框架Apollo基础学习(一)

填写发布信息:
携程开源框架Apollo基础学习(一)

5.客户端获取配置(Java API样例)

配置发布后,就能在客户端获取到了,以Java为例,获取配置的示例代码如下。Apollo客户端还支持和Spring整合,更多客户端使用说明请参见Java客户端使用指南和.Net客户端使用指南。

Config config = ConfigService.getAppConfig();
Integer defaultRequestTimeout = 200;
Integer requestTimeout = config.getIntProperty("requestTimeout", defaultRequestTimeout);

6.客户端监听配置变化

通过上述获取配置代码,应用就能实时获取到最新的配置了。
不过在某些场景下,应用还需要在配置变化时获得通知,比如数据库连接的切换等,所以Apollo还提供了监听配置变化的功能,Java示例如下:

Config config = ConfigService.getAppConfig();
config.addChangeListener(new ConfigChangeListener() {
  @Override
  public void onChange(ConfigChangeEvent changeEvent) {
    for (String key : changeEvent.changedKeys()) {
      ConfigChange change = changeEvent.getChange(key);
      System.out.println(String.format(
        "Found change - key: %s, oldValue: %s, newValue: %s, changeType: %s",
        change.getPropertyName(), change.getOldValue(),
        change.getNewValue(), change.getChangeType()));
     }
  }
});

7.Spring集成样例

Apollo和Spring也可以很方便地集成,只需要标注@EnableApolloConfig后就可以通过@Value获取配置信息:

@Configuration
@EnableApolloConfig
public class AppConfig {}
@Component
public class SomeBean {
    //timeout的值会自动更新
    @Value("${request.timeout:200}")
    private int timeout;
}

部署过程

部署文档:
https://ctripcorp.github.io/apollo/#/zh/deployment/quick-start

为了让大家更快的上手了解Apollo配置中心,我们这里准备了一个Quick Start,能够在几分钟内在本地环境部署、启动Apollo配置中心。

考虑到Docker的便捷性,我们还提供了Quick Start的Docker版本,如果你对Docker比较熟悉的话,可以参考Apollo Quick Start Docker部署通过Docker快速部署Apollo。
不过这里需要注意的是,Quick Start只针对本地测试使用,如果要部署到生产环境,还请另行参考分布式部署指南。

注:Quick Start需要有bash环境,Windows用户请安装Git Bash,建议使用最新版本,老版本可能会遇到未知问题。也可以直接通过IDE环境启动,详见Apollo开发指南。

准备工作

1.Java

Apollo服务端:1.8+
Apollo客户端:1.7+
由于Quick Start会在本地同时启动服务端和客户端,所以需要在本地安装Java 1.8+。

在配置好后,可以通过如下命令检查:

java –version

Apollo客户端:
携程开源框架Apollo基础学习(一)

Apollo服务端:
携程开源框架Apollo基础学习(一)

2.MySQL

版本要求:5.6.5+
Apollo的表结构对timestamp使用了多个default声明,所以需要5.6.5以上版本。

连接上MySQL后,可以通过如下命令检查:

SHOW VARIABLES WHERE Variable_name = 'version';

携程开源框架Apollo基础学习(一)

3.下载Quick Start安装包

我们准备好了一个Quick Start安装包,大家只需要下载到本地,就可以直接使用,免去了编译、打包过程。

安装包共50M,如果访问github网速不给力的话,可以从百度网盘下载。

从Github下载
checkout或下载apollo-build-scripts项目
由于Quick Start项目比较大,所以放在了另外的repository,请注意项目地址
https://github.com/nobodyiam/apollo-build-scripts

从百度网盘下载
通过网盘链接下载,提取码: 9wwe
下载到本地后,在本地解压apollo-quick-start.zip

为啥安装包要58M这么大?
因为这是一个可以自启动的jar包,里面包含了所有依赖jar包以及一个内置的tomcat容器

3.1.手动打包Quick Start安装包

Quick Start只针对本地测试使用,所以一般用户不需要自己下载源码打包,只需要下载已经打好的包即可。不过也有部分用户希望在修改代码后重新打包,那么可以参考如下步骤:

修改apollo-configservice, apollo-adminservice和apollo-portal的pom.xml,注释掉spring-boot-maven-plugin和maven-assembly-plugin
在根目录下执行mvn clean package -pl apollo-assembly -am -DskipTests=true
复制apollo-assembly/target下的jar包,rename为apollo-all-in-one.jar

安装步骤

1.创建数据库

Apollo服务端共需要两个数据库:ApolloPortalDB和ApolloConfigDB,我们把数据库、表的创建和样例数据都分别准备了sql文件,只需要导入数据库即可。

注意:如果你本地已经创建过Apollo数据库,请注意备份数据。我们准备的sql文件会清空Apollo相关的表。

2.创建ApolloPortalDB

通过各种MySQL客户端导入sql/apolloportaldb.sql即可。
下面以MySQL原生客户端为例:

source /your_local_path/sql/apolloportaldb.sql

导入成功后,可以通过执行以下sql语句来验证:

select `Id`, `AppId`, `Name` from ApolloPortalDB.App;

我这里是:

source /data/apollo/sql/apolloportaldb.sql

携程开源框架Apollo基础学习(一)

携程开源框架Apollo基础学习(一)

3.创建ApolloConfigDB

通过各种MySQL客户端导入sql/apolloconfigdb.sql即可。

下面以MySQL原生客户端为例:

source /your_local_path/sql/apolloconfigdb.sql

点击复制错误复制成功

导入成功后,可以通过执行以下sql语句来验证:

select `NamespaceId`, `Key`, `Value`, `Comment` from ApolloConfigDB.Item;

我这里是:

source /data/apollo/sql/apolloconfigdb.sql

携程开源框架Apollo基础学习(一)

携程开源框架Apollo基础学习(一)

4.配置数据库连接信息

Apollo服务端需要知道如何连接到你前面创建的数据库,所以需要编辑demo.sh,修改ApolloPortalDB和ApolloConfigDB相关的数据库连接串信息。

注意:填入的用户需要具备对ApolloPortalDB和ApolloConfigDB数据的读写权限。

#apollo config db info
apollo_config_db_url="jdbc:mysql://localhost:3306/ApolloConfigDB?characterEncoding=utf8&serverTimezone=Asia/Shanghai"
apollo_config_db_username=用户名
apollo_config_db_password=密码(如果没有密码,留空即可)
# apollo portal db info
apollo_portal_db_url="jdbc:mysql://localhost:3306/ApolloPortalDB?characterEncoding=utf8&serverTimezone=Asia/Shanghai"
apollo_portal_db_username=用户名
apollo_portal_db_password=密码(如果没有密码,留空即可)

我这里修改了mysql服务器ip和密码:

携程开源框架Apollo基础学习(一)

注意:不要修改demo.sh的其它部分

启动Apollo配置中心

1.确保端口未被占用

Quick Start脚本会在本地启动3个服务,分别使用8070, 8080, 8090端口,请确保这3个端口当前没有被使用。
例如,在Linux/Mac下,可以通过如下命令检查:
携程开源框架Apollo基础学习(一)

2.执行启动脚本

./demo.sh start

当看到如下输出后,就说明启动成功了!
启动暂时还存在问题,后面问题解决了会补充下解决方案。

上一篇:Apollo-oracle-普通部署


下一篇:十分钟入门Apollo