GitLab+Docker搭建CI/CD自动化部署

1.使用场景
CICD,顾名思义就是持续集成(Continuous Integration)和持续部署(Continuous Deployment)简称,指在开发过程中自动执行一系列脚本来减低开发引入 bug 的概率,在新代码从开发到部署的过程中,尽量减少人工的介入。
以前的老技术,比如git/svn+jenkins这种,jenkins的配置多数还是依赖于负责维护CI的人,很多人不熟悉jenkins怎么配置,每一个步骤应该怎么编译和测试,一般都由CI的人来定义。
而CICD,其实可以使用jenkinsfile,就象gitlab的 .gitlab-ci.yaml文件,把CICD的流程控制和步骤也作为开发的一部分,由开发去维护。并且可以很快的部署到多个环境。
持续集成
持续集成指在和向远程仓库 push 代码后,在这次提交合并入主分支前进行一系列测试,构建等流程。假设现在有个应用的代码存储在 gitlab 上,每天开发者都 push 很多次提交,针对每次 push,你可以创建一系列脚本进行自动测试,降低往应用里引入错误的概率。这就是持续集成,它可应用在包括开发分支在内的多个分支上。
持续部署
持续部署在持续集成的基础上更进一步,指将推送指仓库默认分支的部署至产品环境。如果这部分需要手动触发,这就是一个持续交付(Continuous Delivery)环节。

  1. 安装环境
    Gitlab 内置了 CICD 工具,不需要使用第三方工具。使用gitlab的CICD流程,使用物联管理平台项目为例子。搭建一个pipe。一旦提交代码,自动将物联管理平台部署到docker(k8s集群)中。

使用到的技术有: docker,gitlab-runner,linux shell,(k8s,helm)
环境:
IP 安装软件
172.26.67.109 docker、gitlab
172.26.67.108 docker、gitlab-runner

2.1 安装docker和docker-compose
在两台服务器上安装docker,百度或参考以前写的《Centos7下安装Docker.docx》、《通过 docker-compose 快速构建部署.docx》
2.2 安装gitlab
在172.26.67.109上使用docker安装gitlab
在172.26.67.109上编写一个docker-compose.yml文件
version: '3'
services:

gitlab:
  image: twang2218/gitlab-ce-zh 
  restart: always
  container_name: "gitlab"      
  privileged: true
  hostname: "172.26.67.109"
  environment:        
    GITLAB_OMNIBUS_CONFIG: |
      external_url 'http://172.26.67.109'
      gitlab_rails["time_zone"] = "Asia/Shanghai"
      gitlab_rails["gitlab_shell_ssh_port"] = 1222
      nginx["listen_port"] = 80
  
  ports:
    - "80:80"
    - "8443:443"
    - "1222:22"
  
  volumes:
    - ./gitlab/config:/etc/gitlab
    - ./gitlab/data:/var/opt/gitlab
    - ./gitlab/logs:/var/log/gitlab
    - "/etc/localtime:/etc/localtime:ro"

然后docker-compose up -d运行????安装gitlab,????安装后浏览器打开http://172.26.67.109

创建组、用户、项目等
2.3 安装gitlab-runner
在172.26.67.108上使用docker安装gitlab-runner
在172.26.67.108上编写一个docker-compose.yml文件
version: '3'
services:
gitlab-runner:

  container_name: gitlab-runner
  restart: always  
  privileged: true
  image: gitlab/gitlab-runner      
  volumes:
    - "/var/run/docker.sock:/var/run/docker.sock"
    - "./gitlab-runner/config:/etc/gitlab-runner"
    - "/etc/localtime:/etc/localtime:ro"

然后docker-compose up -d运行????安装gitlab-runner,然后注册gitlab-runner到gitlab上
1、从gitlab上获取注册令牌

2、注册gitlab-runner
docker exec -it gitlab-runner gitlab-ci-multi-runner register -n \
--url http://172.26.67.109/ \
--registration-token XXXXXXXXXXXS5UDqw \
--tag-list=dev,uat,prod \
--description "project_build_runner" \
--docker-privileged=false \
--docker-pull-policy="if-not-present" \
--docker-image "livingobjects/jre8" \
--docker-volumes /var/run/docker.sock:/var/run/docker.sock \
--docker-volumes /opt/data/gitlab-runner/.m2:/root/.m2 \
--executor docker

在gitab上可以看到己注册的gitlab-runner

  1. 持续集成、部署
    使用 Gitlab 的 CICD ,只需要在 Gitlab 的仓库的根目录中添加 .gitlab-ci.yml 文件。

这个文件中,可以定义CICD 的各个环节,配置每个环节执行的命令,触发方式等。这个配置文件其实就是按照 YAML 规定了一些结构的 shell 脚本,里面的命令会在符合条件时逐一执行。一旦在仓库中添加这个文件,Gitlab 会检测到它并用名为 Gitlab Runner 工具执行它。每次触发的 CICD 会把配置中的脚划分为不同的 job,多个 job 组成一个 pipeline。
最简单的 .gitlab-ci.yml 文件可以包含:
before_script:

  • apt-get install rubygems ruby-dev -y
    run-test:

script:

- ruby --version

其中 before_scripts 属性会在执行任一脚本前预装一些需要的依赖(类似 unittest 的 setUp 方法),此后名为 run-test 的脚本会显示当前系统的 ruby 版本。这两个步骤组成了一个 pipeline 会在这个仓库的每次push后执行。这行任务的执行情况也可以在 Gitlab 的对应页面上查看,就像在 Terminal 中看日志一样。

而每个 pipeline 的 job 的执行情况也可以在页面上查看

如果中途报错了,可以一键回滚

CICD 工作流
假设你在本地修改了一些代码以增加一些特性,当你把这些改动 push 到远程仓库的特性分支后,项目里设定的 CICD pipeline 就被触发了,一般流程如下:
运行自动脚本(串行或并行):
 构建并测试应用
 在合并前 review 改动
上述流程如果没有问题就可以把改动合并入主分支,CD 会自动把它部署到产品中,如果发现了任何问题,还能一键回滚。
工作流程图如下:

该图简要显示了基本的工作流,想要了解 Gitlab CICD 的更多特请,请参阅CICD 索引表
.gitlab-ci.yml 文件结构
.gitlab-ci.yml 是指定了 CICD 相关配置的 YAML 文件。(YAML 是专门用来写配置文件的语言,简洁强大,和 python 一样用缩进代表层级,表达能力和 JSON 基本一致,但格式更方便。
一般而言,CICD 过程会包含如下最外层的 key:
stages: 定义整个 CICD pipeline 的 job 数量和名称
variables: 定义 CICD 流程中的一些环境变量
before_scripts: 在每个 job 的 scripts 执行前进行的命令集,一般是创建目录,打印 context 目录等操作,可类比 unittest 的 setUp 方法
stage: 定义了一个 job 的具体流程,可以在前面加上名称
下面通过一个例子进行一些讲解
stages:

  • test
  • build
  • deploy
    variables:

GIT_STRATEGY: none
PROJECT_REPO_NAMESPACE: test
PROJECT_REPO_NAME: cicd_learn
DEPLOYMENT_REPO_NAMESPACE: test
DEPLOYMENT_REPO_NAME: deploy_test
before_script:

  • export ROOT_PATH=$(pwd)
  • echo 'root path:' $ROOT_PATH
  • mkdir $PROJECT_REPO_NAME
  • cd $PROJECT_REPO_NAME
  • echo 'date:' $DATE
    test_stage:

stage: test
script:

- <test related command here>

artifacts:

paths:
  - xxxx.html
when: always

allow_failure: false
build_stage:
stage: build
script:

 - <build related command here>

when: manual
allow_failure: false
only:

- master

deploy:
stage: deploy
script:

- <deploy related command here>

allow_failure: false
only:

- master

stages
例子中 stages 值为一个数组(p.s. 用 - 代表数组和 markdown 类似)。包含了三个 job,test, build, deploy分别实现自动测试,打包项目和部署。下方的 stage 必须在全局定义的 stages 内。
variables
值为键值对象,为了后续的流程,此处定义了开发项目和部署项目的 namespace 和 repo_name。同 shell 类似,后续使用其值需要加上 $ 符号。定义的变量也有对应的作用域,定义在顶层就可以作为全局变量供所有 job 使用,如果是一些 job 特有的变量,就定义在 job 内部。
before_script
值为数组,每一个元素其实就是一个 linux 命令,写的时候装作自己在写 shell 就好。该部分主要生成了后续构建需要的镜像标签,切换当前目录等。为了 debug 方便,这些变量最好打印。类似的,如果在 job 完成后有一些时候操作,可以定义 after_script。需要注意的是如果定义在顶层,内部的命令会在每个 job 运行之前执行,如果某些 job 需要特别的预操作,可以在 job 内部再配置一个 before_script 对象,它会复写外部的全局预操作。
test_stage
名为 test 的 job 的具体配置,一般是个复合对象。
stage
job 对应的 stage,如果有多个 job 对应同一个 stage,在执行时会并行执行这些 job。
script
这个 job 执行的命令,此处是进入的项目仓库目录,并且执行了一个 shell 脚本,这个脚本定义了执行项目的所有单元测试。一般建议如果要执行的命令过多,就把这些命令写成脚本放在项目内。CICD 流程直接执行这个脚本。
artifacts
这个对象用来定义 job 的产出,比如我们让 test_stage 产出一个 html 格式的报告,显示每个单元测试的执行情况(报告生成相关代码写在项目内)。 数组内 paths 和 when 分别定义报告的路径和产出场景。此处表示报告放置于根目录下,任何时候都要提供报告。设定正确后,就可以 Gitlab 的 pipline 页面上可以下载相关文件。
allow_failure
见名知意,如果值为 true,那么即使没通过测试,也可以执行后续的 job.
build_stage
该步骤在测试通过的基础上,把项目编译打包,方便后续部署。
when
此处的 when 定义在 job 内的顶层,值为 manual 表示其需要在 Gitlab 上手动触发(页面上点击按钮即可)。
only
only 指明了 job 的执行场景,可以是分支名,表明只有 master 分支可以执行 build,如果要用排除法反向指定,可以用 except。
deploy_stage
所有的 key 现在你应该都了解了,这里不再赘述。这一步骤主要是将部署产品的服务器上的内容更新。

上一篇:《阿里云SRE技术期刊》_2021年4月刊


下一篇:《阿里云SRE技术期刊》_2020年10月