一直有人说想了解微服务的自动化部署，今天它来了。

在微服务化的时代，自动化部署越来越成为企业的重中之重了，因为这样减少了人员的成本，开发人员将代码提交后，触发相关事件即可部署测试环境，甚至得到许可后部署到线上。这样，原先开发人员、运维人员等要做的事，通通不必再重复劳作了。这对于一个企业来说，leader比较在乎的一件事。今天讲解通过jenkins、gitlab、harbor、k8s来作简单的CI/CD平台，暂时未涉及到代码检测等。

环境：

ubuntu16.04
docker18.04
k8s1.13.x +

1. 准备

以上系统环境准备好，本文讲述的是用 k8s 来进行部署 jenkins

2. 部署 jenkins

新建部署脚本 jenkins.yaml:

apiVersion: v1
kind: Service
metadata:
  name: jenkins-service
  namespace: default
  labels:
    app: jenkins
spec:
  type: NodePort
  ports:
  - port: 8080
    targetPort: 8080
    protocol: TCP
    nodePort: 30600
    name: jenkins
  - port: 30000
    targetPort: 30000
    nodePort: 30000
    protocol: TCP
    name: agent
  selector:
    app: jenkins
    tier: jenkins

---

apiVersion: apps/v1
kind: Deployment
metadata:
  name: jenkins-deployment
  labels:
    app: jenkins
spec:
  replicas: 1
  strategy:
    type: Recreate
  template:
    metadata:
      labels:
        app: jenkins
        tier: jenkins
    spec:
      containers:
        - name: jenkins
          image: jenkinsci/blueocean:latest
          imagePullPolicy: Always
          ports:
            - containerPort: 8080
              name: jenkins
            - containerPort: 30000
              name: agent
          volumeMounts:
          - mountPath: /var/jenkins_home
            name: jenkins-data
          - mountPath: /data/jenkins
            name: jenkins-log-path
      volumes:
      - name: jenkins-data
        hostPath:
          path: /home/demo/jenkins
      - name: jenkins-log-path
        hostPath:
          path: /data/jenkins

执行脚本：

kubectl apply -f jenkins.yaml

查看部署成功的 pod

kubectl get pod

同时会看到一个 service 生成，映射端口到外部。

接下来通过页面访问该服务，首次打开后，会让输入一个 admin 的密钥，这一串字符可以在日志中找到，执行 kubectl logs -f test-jenkins-c6bd58bf9-tgmsa 即可，输入一串字符后，进入下一步，需要安装一些插件，在安装插件的时候，需要注意的是，选择 jenkins 的 image 不同，其所需安装的插件也是不一样的，有的可能 image 已经存在了。
具体请看：https://jenkins.io/zh/doc/book/installing/

安装完插件后，进入下一步，创建第一个账户，管理员账户，一般建议创建，方便后面使用，注：邮箱也需要填写。

完成以上后，我们进入正式界面：

第一步：点击系统管理--->插件管理，添加一些插件，这里有用到kubernetes的插件，故安装了kubernetes plugins，其他的可根据自行项目确定下载、安装。

第二步：点击系统管理--->系统设置

添加jenkins的地址以及邮件地址

第三步：拉动滚动框到最下面，新增一个云

这里我加了kubernetes的配置，为什么后面会讲。

第四步：新建任务

在触发器中新增规则，最下面要生成token。

第五步：

接下来就是选择与gitlab互动，gitlab的地址以及凭据，凭据可通过首页加上可访问gitlab的用户信息，脚本路径需要根据自身的Jenkinsfile路径情况填写。

第六步：

如果启用全局安全，这个端口本身是50000，但由于k8s的默认nodePort范围是30000-32767，故可以修改在这区间内，比如：30000，这也是为什么上面创建时service的nodePort是30000了。

至此，jenkins环境配置完成

第七步：配置gitlab

这里的url就是在新建任务时生成的Gitlab webhook，token就是上面截图生成的token，最后add webhook。

第八步：

关于Harbor，自己可以简单搭建一个harbor服务，找度娘问一下很多，此处略。

第九步：

新建Jenkinsfile文件，如果刚才的路径是在项目根目录，则直接在项目根目录下创建Jenkinsfile文件:

def label = "mypod-${UUID.randomUUID().toString()}"


def k8sPodYaml = """
    apiVersion: "v1"
    kind: "Pod"
    metadata:
      labels:
        jenkins: "slave"
      name: "${label}"
    spec:
      containers:
      - env:
        - name: "CI_ENV"
          value: "YES"
        - name: "JENKINS_AGENT_WORKDIR"
          value: "/home/jenkins/agent"
        image: "jenkins/jnlp-slave"
        imagePullPolicy: "Always"
        name: "jnlp"
        resources:
          limits: {}
          requests: {}
        securityContext:
          privileged: false
        tty: false
        volumeMounts:
        - mountPath: "/home/jenkins/.kube"
          name: "volume-2"
          readOnly: false
        - mountPath: "/var/run/docker.sock"
          name: "volume-0"
          readOnly: false
        - mountPath: "/var/inference/config"
          name: "volume-1"
          readOnly: false
        - mountPath: "/usr/local/bin/kubectl"
          name: "volume-3"
          readOnly: false
        - mountPath: "/home/jenkins/agent"
          name: "workspace-volume"
          readOnly: false
        workingDir: "/home/jenkins/agent"
      nodeSelector: {}
      restartPolicy: "Never"
      volumes:
      - hostPath:
          path: "/var/run/docker.sock"
        name: "volume-0"
      - hostPath:
          path: "/home/leinao/.kube"
        name: "volume-2"
      - hostPath:
          path: "/home/leinao/inference-deploy/output_config"
        name: "volume-1"
      - emptyDir: {}
        name: "workspace-volume"
      - hostPath:
          path: "/usr/local/bin/kubectl"
        name: "volume-3"

下面是自己的任务构建项目时的逻辑，由于我们这块用了自己的框架写的编译逻辑，故比较简单的，这里不合适公开，但是逻辑都差不多，大家可自行编写。

这块解释上面的k8s的yaml，这个就是为了在k8s中启动一个pod，通过该pod来执行构建逻辑的过程。

到此，关于Jenkins结合harbor、gitlab、k8s来实现CI/CD结束了，有几点注意的地方：

1. 如果jenkins是在容器中启动的一定要记得将这个端口(30000)暴露到外部，不然jenkins-master会不知道slave是否已经启动，会反复去创建pod只到超过重试次数。

2. 如果提示Jenkins doesn’t have label jenkins-jnlp-slave，可能原因：

    1). 因为slave节点无法链接到jenkins节点开放端口50000导致

    2). 因为slave镜像中slave启动失败导致的

    3). 因为jenkins和k8s通信有延时导致超时jenkins会反复创建pod

    4). 因为slave pod启动失败

    5). 因为pipeline中指定的label与配置中的不一致导致

3. 也可以通过Ingress暴露的方式来进行暴露。