[系统集成] 基于Kubernetes 部署 jenkins 并动态分配资源

2022-09-20 07:57:34

2017年3月10日注：

这篇文章发布在去年8月，现在，jenkins kubernetes 插件已经由0.8更新到了0.11，jnlp-slave 也更新到了2.62，新版本与老版本在运行方式和功能上均发生了一些变化，请您注意参考相关文档。

2017年4月7日注：

新版本的 kubernetes plugin （0.11）以及 jnlp-slave（2.62）仍然是可用的，有两点需要注意：

1）建议基于官方的 jnlp-slave:2.62 构建自己的 jnlp 镜像，然后在jenkins kubernetes 插件的 template 中设置单容器，并且将容器的名称设置为 jnlp，否则 jenkins 会从外网下载默认的 jnlp 镜像，耗时而且存在问题。

2）下述参数不要采用默认值，用图中的值替换默认值

Command to run slave agent: （留空）

Arguments to pass to the command: ${computer.jnlpmac} ${computer.name}

Allocate pseudo-TTY: 不选

---- 截图 ----

----------- 原文 -----------

基于kubernetes 部署 jenkins master 比较简单，难点是为 jenkins 动态分配资源。基于kubernetes 为 jenkins 动态分配资源需要实现下述功能：

资源分配：jenkins 根据任务属性自动创建临时 docker 容器，并作为 slave 节点加入 jenkins 集群，实现资源的分配；
资源释放：任务执行结束后，jenkins 自动删除相关节点，并销毁相关 docker 容器，实现资源的释放；

整个资源分配和资源释放过程对用户来说是透明的，用户只需要创建好任务就可以了，不需要操作节点；对于jenkins来说，slave 节点（容器）是临时的，任务一结束就会销毁。

为了实现数据持久化，建议把需要持久化的数据挂载到 NFS 或 glusterfs卷上。

1. 准备 docker 镜像

#jenkins master

jenkins:2.7.2

#jenkins slave

jenkinsci/jnlp-slave:2.52

2. 部署 jenkins master

分别部署 controller, service, ingress，controller 控制 master 容器，ingress 提供用户访问入口。

 kind: Deployment

 metadata:

   name: jenkins

 spec:

   replicas:

   strategy:

     type: RollingUpdate

     rollingUpdate:

       maxSurge:

       maxUnavailable:

   template:

     metadata:

       labels:

         app: jenkins

     spec:

       imagePullSecrets:

       - name: myregistrykey

       containers:

       - name: jenkins

         image: registry.xxxxx.com/jenkins:2.7.

         imagePullPolicy: IfNotPresent

         ports:

         - containerPort:

           name: web

           protocol: TCP

         - containerPort:

           name: agent

           protocol: TCP

         volumeMounts:

         - name: jenkinshome

           mountPath: /var/jenkins_home

         env:

         - name: JAVA_OPTS

           value: "-Duser.timezone=Asia/Shanghai"

       volumes:

       - name: jenkinshome

         nfs:

           server: 172.31.17.74

           path: "/var/nfsshare/k8s/jenkins/home"

 kind: Service

 apiVersion: v1

 metadata:

   labels:

       app: jenkins

   name: jenkins

 spec:

   ports:

   - port:

     targetPort:

     name: web

   - port:

     targetPort:

     name: agent

   selector:

     app: jenkins

 kind: Ingress

 metadata:

   name: jenkins

 spec:

   tls:

   - hosts:

     - jenkins.xxxxx.com

     secretName: jenkins-secret

   rules:

   - host: jenkins.xxxxx.com

     http:

       paths:

       - backend:

           serviceName: jenkins

           servicePort:

         path: /

3. 安装 jenkins Kubernetes 插件

4. 创建 jenkins Kubernetes 云

jenkins-系统管理-系统设置-云-Kubernetes:

Name: k8s_cluster
Kubernetes URL: https://kubernetes.default
Kubernetes Namespace: default
Jenkins URL: http://jenkins.default:8080

images - Kubernetes Pod Template:
Name: jnlp-slave
Labels: jnlp-slave
Docker image: registry.xxxxx.com/jenkinsci/jnlp-slave:2.52
Jenkins slave root directory: /home/jenkins

5. 查看无任务状态

5.1 jenkins

节点中只有一个master，没有 slave节点

5.2 kubernetes

只有 jenkins master pod

6. 创建测试任务

该任务选择标签为 jnlp-slave 的镜像作为执行任务的容器的镜像，构建动作是 ping www.baidu.com

建好后执行该任务

7. 查看任务执行状态

7.1 jenkins

jenkins 自动创建了一个slave节点

7.2 kubernetes

kubernetes pod中多出一个jnlp-slave-开头的pod

8. 结束任务

结束任务后，刚才看到的slave 节点被自动删除，kubernetes 中 jnlp-slave 开头的 pod 也消失了。

码农公寓