在阿里云kubernetes上部署Jenkins Master

2021-11-11 05:11:34

问题

Jenkins是很多公司开发中CI/CD用到的开源工具，但是开源里没有针对其提供高可用的方案，同时如果给每个Jenkins服务都分配一台机器，资源将比较浪费。另外在一个问题是大型一点的公司，为了能消除团队相互间的干扰，很可能是每个开发团队有自己的Jenkins服务器，，这又引入新的问题，将如何同时管理好这么多的Jenkins服务机器/集群，如果出错又该如何回复呢等等？

本文将通过容器+分布式存储的方式来构建容易维护的Jenkins集群，但是受制于Jenkins的实现机制，一个集群只能部署一个master实例，有Kubernetes的自动恢复容器的机制来保证高可用，后续再介绍如何使用容器的方式运行多个Jenkins Slave

架构以及部署模型

构建一个NAS文件系统，用于存储Jekinks的配置（系统配置，以及作业配置），通过NAS的高可用性来提供Jekinks集群的可用性，当实例意外消亡时，数据依然保留并可以用作恢复。
以Kubernetes的deployment的方式来部署Jenkins的容器(确保只能有一个实例)，可以自动在实例意外消亡时被恢复。
通过Ingress的方式来暴露Jenkins服务给客户使用

部署实践

创建NAS

创建一个和K8S在同一个region的文件系统
创建一个挂载点，选在与K8S相同的VPC，这个务必一样，因为不能垮VPC调用NAS，权限组没有特殊，使用默认的就可
获得挂载点对应的地址

创建PV/PVC

通过阿里云的Kubernetes容器服务控制台，创建对应的存储卷(PV)

这里挂载点的域名就是之前配置后得到的挂载点地址

通过阿里云的Kubernetes容器服务控制台，创建对应的存储卷申明(PVC)，这里关联前面的PV就可

这里定义的PVC的名字为：jenkins，后面部署容器需要用到

创建Jenkins对应的Namespace, Deployment, Service, Ingress

创建一个独立的Namespace，这个通常用来隔离不同团队的使用空间以及相关的约束，这里只是简单做了一个创建kube-ops

apiVersion: v1
kind: Namespace
metadata:
  name: kube-ops

创建对应的权限管理serviceAcount, role, roleBinding

apiVersion: v1
kind: ServiceAccount
metadata:
  name: jenkins
  namespace: kube-ops

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: Role
metadata:
  name: jenkins
  namespace: kube-ops
rules:
  - apiGroups: [""]
    resources: ["pods"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/exec"]
    verbs: ["create","delete","get","list","patch","update","watch"]
  - apiGroups: [""]
    resources: ["pods/log"]
    verbs: ["get","list","watch"]
  - apiGroups: [""]
    resources: ["secrets"]
    verbs: ["get"]

---
apiVersion: rbac.authorization.k8s.io/v1beta1
kind: RoleBinding
metadata:
  name: jenkins
  namespace: kube-ops
roleRef:
  apiGroup: rbac.authorization.k8s.io
  kind: Role
  name: jenkins
subjects:
  - kind: ServiceAccount
    name: jenkins
    namespace: kube-ops

创建对应的deployment和service

---
apiVersion: v1
kind: Deployment
metadata:
  name: jenkins
  namespace:  kube-ops
spec:
  template:
    metadata:
      labels:
        app: jenkins
    spec:
      terminationGracePeriodSeconds: 10
      containers:
      - name: jenkins
        image: jenkins:latest
        imagePullPolicy: IfNotPresent
        ports:
        - containerPort: 8080
          name: web
          protocol: TCP
        - containerPort: 50000
          name: agent
          protocol: TCP
        resources:
          limits:
            cpu: 4000m
            memory: 4Gi
          requests:
            cpu: 2000m
            memory: 4Gi
        livenessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        readinessProbe:
          httpGet:
            path: /login
            port: 8080
          initialDelaySeconds: 90
          timeoutSeconds: 5
          failureThreshold: 12
        volumeMounts:
        - name: jenkinshome
          subPath: jenkins
          mountPath: /var/jenkins_home
        env:
        - name: LIMITS_MEMORY
          valueFrom:
            resourceFieldRef:
              resource: limits.memory
              divisor: 1Mi
        - name: JAVA_OPTS
          value: -Xmx$(LIMITS_MEMORY)m -XshowSettings:vm -Dhudson.slaves.NodeProvisioner.initialDelay=0 -Dhudson.slaves.NodeProvisioner.MARGIN=50 -Dhudson.slaves.NodeProvisioner.MARGIN0=0.85 -Duser.timezone=Asia/Shanghai
      securityContext:
        fsGroup: 1000
      volumes:
      - name: jenkinshome
        persistentVolumeClaim:
          claimName: jenkins

---
apiVersion: v1
kind: Service
metadata:
  name: jenkins
  namespace:  kube-ops
  labels:
    app: jenkins
spec:
  selector:
    app: jenkins
  ports:
  - name: web
    port: 8080
    targetPort: web
  - name: agent
    port: 50000
    targetPort: agent

部署Ingress

apiVersion: extensions/v1beta1
kind: Ingress
metadata:
  name: jenkins-ingress
  namespace: kube-ops
  annotations:
    kubernetes.io/ingress.class: "nginx"
    nginx.ingress.kubernetes.io/affinity: cookie
    nginx.ingress.kubernetes.io/session-cookie-hash: sha1
    nginx.ingress.kubernetes.io/session-cookie-name: route    
spec:
  rules:
  - host: testjenkins.com
    http:
      paths:
      - backend:
          serviceName: jenkins
          servicePort: 8080

访问对应的服务

在客户端主机的配置testjenkins.com和对应的Ingress的SLB的IP的映射，然后通过浏览器访问testjenkins.com:就可

“填坑”小记

对于服务开在SLB 80端口需要根据中国的监管要求，有域名认证才可以，不然会被警告和屏蔽。测试可以在Ingress SLB配置多一个非80的端口映射就可
新版本的Jenkins默认开了安全的跨域保护，访问的时候会出现No valid crumb问题（参考：https://issues.jenkins-ci.org/browse/JENKINS-42200 ）,解决办法是在Jenkins的安全配置里设置(系统管理->Configure Global Security)激活代理兼容：

参考

阿里云Kubernetes容器服务使用存储帮助说明 (https://help.aliyun.com/document_detail/63956.html?spm=a2c4g.11186623.6.637.8X8CFU)
Kubernetes如何选择存储以及什么方式使用存储 (https://yq.aliyun.com/articles/621108?spm=a2c4e.11153959.0.0.6d39d55aoh121a)
Ingress配置session stick(https://kubernetes.github.io/ingress-nginx/examples/affinity/cookie/README/)

码农公寓

问题