Jenkins+harbor+gitlab+k8s 部署maven项目

一、概述

maven项目部署流程图如下:

Jenkins+harbor+gitlab+k8s 部署maven项目

环境介绍

操作系统 ip 角色 版本
ubuntu-16.04.4-server-amd64 192.168.10.122 Jenkins+harbor Jenkins 2.176.2,harbor 1.8.1
ubuntu-16.04.4-server-amd64 192.168.10.134 gitlab gitlab-ce_12.1.4
ubuntu-16.04.4-server-amd64 192.168.10.130 k8s master kubernetes 1.15.2
ubuntu-16.04.4-server-amd64 192.168.10.131 k8s node kubernetes 1.15.2

由于资源紧张,Jenkins+harbor合并为一台了。实际上,应该是要单独部署的。

k8s安装,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11317844.html

gitlab安装,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11329018.html

harbor安装,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11326467.html

Jenkins安装,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11323795.html

注意:Jenkins安装之后,还需要做以下配置。否则无法实现本文章的功能!!!

Jenkins基于https的k8s配置,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11338827.html

GitLab+Jenkins持续集成,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11425560.html

Jenkins配置maven,请参考链接:

https://www.cnblogs.com/xiao987334176/p/11433636.html

二、gitlab创建maven项目

首先从github上面,找一个基于maven的项目,地址如下:

https://github.com/solochen84/SpringBootDemo

使用git客户端,下载此项目代码

创建项目

登录gitlab,创建一个项目springbootdemo

Jenkins+harbor+gitlab+k8s 部署maven项目

点击 设置--> 成员

Jenkins+harbor+gitlab+k8s 部署maven项目

添加2个成员,一个是jenkins用户,用来拉取代码的。一个是我,用来提交代码的。

注意:我的账号,权限要高一些,可以直接提交到master分支。

Jenkins+harbor+gitlab+k8s 部署maven项目

将github下载的代码,提交到刚刚创建的项目中。效果如下:

Jenkins+harbor+gitlab+k8s 部署maven项目

三、harbor 创建用户和项目

创建jenkins用户

登录到harbor后台,点击创建用户

Jenkins+harbor+gitlab+k8s 部署maven项目

注意,每一项都填写一项。尤其是密码,必须符合密码复杂性要求。

Jenkins+harbor+gitlab+k8s 部署maven项目

创建项目

点击新建项目

Jenkins+harbor+gitlab+k8s 部署maven项目

输入名字,java。这就是私有项目。

Jenkins+harbor+gitlab+k8s 部署maven项目

点击java

Jenkins+harbor+gitlab+k8s 部署maven项目

点击成员-->用户

Jenkins+harbor+gitlab+k8s 部署maven项目

输入jenkins,会有提示的。角色选择 开发人员。

Jenkins+harbor+gitlab+k8s 部署maven项目

四、jenkins修改默认用户

使用jenkins执行shell命令时,可能会出现权限不足的情况。

查看jenkins默认用户

cat /etc/default/jenkins

内容如下:

# pulled in from the init script; makes things easier.
NAME=jenkins # arguments to pass to java # Allow graphs etc. to work even when an X server is present
JAVA_ARGS="-Djava.awt.headless=true" #JAVA_ARGS="-Xmx256m" # make jenkins listen on IPv4 address
#JAVA_ARGS="-Djava.net.preferIPv4Stack=true" PIDFILE=/var/run/$NAME/$NAME.pid # user and group to be invoked as (default to jenkins)
JENKINS_USER=$NAME
JENKINS_GROUP=$NAME
...

可以发现JENKINS_USER和JENKINS_GROUP变量的值是jenkins

修改默认用户为root

将下面2个变量,修改为root

JENKINS_USER=root
JENKINS_GROUP=root

重启jenkins服务

service jenkins restart

五、jenkins和k8s master做ssh免密

为什么要和k8s master做ssh免密呢?因为jenkins需要登录到k8s master,做一些pod操作。

生成秘钥

登录到jenkins服务器,生成秘钥

ssh-keygen -t rsa -P "" -f ~/.ssh/id_rsa

copy秘钥

ssh-copy-id 192.168.10.130

测试root免密

ssh 192.168.10.130

如果没有提示输入密码,说明成功了!

六、jenkins登录harbor

修改docker配置文件,添加harbor地址

vim /etc/docker/daemon.json

内容如下:

{"insecure-registries": ["192.168.10.122"]}

重新加载docker配置

/etc/init.d/docker reload

测试登录

root@ubuntu:~/docker_dir# docker login 192.168.10.122 -u jenkins -p Jenkins@1234
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store Login Succeeded

如果出现

Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused

表示 /etc/docker/daemon.json 文件修改不正确

七、jenkins创建maven项目

新建任务

登录到jenkins后台,点击 新建Item

输入名称,选择构建一个maven项目。注意:任务名称最好是项目名,因为下面的deploy_docker.sh脚本,会调用这个变量。

Jenkins+harbor+gitlab+k8s 部署maven项目

设置参数化构建

丢弃旧的构建,保留2天

Jenkins+harbor+gitlab+k8s 部署maven项目

设置源代码

输入仓库下载地址,选择用户root

Jenkins+harbor+gitlab+k8s 部署maven项目

设置maven构建命令

输入命令:clean package

Jenkins+harbor+gitlab+k8s 部署maven项目

mvn clean package依次执行了clean、resources、compile、testResources、testCompile、test、jar(打包)等7个阶段。

package命令完成了项目编译、单元测试、打包功能,但没有把打好的可执行jar包(war包或其它形式的包)布署到本地maven仓库和远程maven私服仓库

jar包打包成docker镜像并推送

执行shell命令

build完成之后,选择执行shell命令

Jenkins+harbor+gitlab+k8s 部署maven项目

将下面的内容,贴过去

#!/bin/bash

jarName=spring-boot-demo-0.0.-SNAPSHOT.jar
jarFolder=$JOB_NAME
harborPro=java
projectName=$JOB_NAME docker_path=${WORKSPACE} cp ${WORKSPACE}/target/${jarName} ${docker_path}
bash -x /root/docker_dir/deploy_docker.sh ${harborPro} ${projectName} ${docker_path} ${jarName}

内容解释:

jarName jar包的文件名,名字随便

jarFolder jar包的文件夹

harborPro harbor里面的项目,在上面步骤中,创建java私有项目。

projectName 项目名,名字随便

docker_path docker命令的工作目录

最后一步,会执行一个shell脚本。下面说到!

效果如下:

Jenkins+harbor+gitlab+k8s 部署maven项目

定义shell脚本

登录到jenkins服务器,创建目录

mkdir /root/docker_dir

编辑deploy_docker.sh脚本

cd /root/docker_dir/
vim deploy_docker.sh

内容如下:

#!/bin/bash
# maven $workspace $jarname
# ${harborPro} ${projectName} ${docker_path} ${jarName} set -e
harbor_project=$
projectName=$
docker_path=$
appName=$ # harbor认证用户
user_name=jenkins
password=Jenkins@ # harbor地址以及tag
tag=$(date +%s)
harbor_server=192.168.10.122
server_path=${harbor_server}
taget_image=${projectName}:${tag}
#${BUILD_NUMBER}
echo ${taget_image} # 登录docker
cd ${docker_path}
sudo docker login ${harbor_server} -u ${user_name} -p ${password} # 生成镜像并推送到harbor,最后删除本地镜像
sudo docker build --build-arg app=${appName} -t ${taget_image} .
sudo docker tag ${taget_image} ${server_path}/${harbor_project}/${projectName}
echo "The name of image is ${server_path}/${harbor_project}/${projectName}"
sudo docker push ${server_path}/${harbor_project}/${projectName}:latest
sudo docker rmi -f $(docker images|grep ${projectName}|grep ${tag}|awk '{print $3}'|head -n )

添加执行权限

chmod  /root/docker_dir/deploy_docker.sh

yaml文件拷贝到k8s master上并运用应用

k8s master 操作

登录到k8s master,创建目录

mkdir kube-conf

删除gitlab springbootdemo项目中的kube.yaml,新增2个yaml文件。

ph-service.yaml

apiVersion: v1
kind: Service
metadata:
name: ph-service
spec:
type: NodePort
ports:
- name: ph
port:
nodePort:
targetPort:
protocol: TCP
selector:
app: ph

ph-rc.yaml

apiVersion: v1
kind: ReplicationController
metadata:
name: ph-rc
spec:
replicas:
template:
metadata:
labels:
app: ph
spec:
imagePullSecrets:
- name: harborsecret
containers:
- name: ph
image: 192.168.10.122/java/ph:latest
imagePullPolicy: Always
ports:
- containerPort:
env:
- name: key
value: "value"

将2个yaml文件提交到gitlab

k8s 生成imagePullSecrets,请参考以下链接

https://www.cnblogs.com/xiao987334176/p/11434326.html

注意:使用docker登录用户时,指定jenkins

docker login 192.168.10.122 -u jenkins -p Jenkins@

jenkins操作

登录到jenkins服务器,新增重启应用脚本

cd /root/docker_dir
vim reboot_app.sh

内容如下:

#!/bin/bash
MASTER="192.168.10.130"
CONF_DIR="/root/kube-conf"
ProJ=${JOB_NAME} scp ${WORKSPACE}/*.yaml ${MASTER}:${CONF_DIR}
# Pod running process
RUN=$(ssh $MASTER kubectl get po|grep -w ${ProJ}|wc -l)
if [ $RUN -eq 0 ];then
ssh ${MASTER} kubectl apply -f ${CONF_DIR}/${ProJ}-rc.yaml
ssh ${MASTER} kubectl apply -f ${CONF_DIR}/${ProJ}-service.yaml
else
# Delete pod
podname=$(ssh ${MASTER} kubectl get po|grep -w ${ProJ}|awk '{print $1}')
ssh ${MASTER} kubectl delete po $podname --grace-period=0 --force
ssh ${MASTER} kubectl get po|grep ${ProJ}
fi

添加执行权限

chmod 755 /root/docker_dir/reboot_app.sh

添加执行shell命令

Jenkins+harbor+gitlab+k8s 部署maven项目

将下面的内容,贴过去

#!/bin/bash

bash -x /root/docker_dir/reboot_app.sh

效果如下:

Jenkins+harbor+gitlab+k8s 部署maven项目

手动构建应用

点击Build Now

Jenkins+harbor+gitlab+k8s 部署maven项目

点击#1

Jenkins+harbor+gitlab+k8s 部署maven项目

点击控制台输出

Jenkins+harbor+gitlab+k8s 部署maven项目

它会自己下载一些组件,需要等待一段时间。

Jenkins+harbor+gitlab+k8s 部署maven项目

出现spring图标,表示应用开始启动构建了。

Jenkins+harbor+gitlab+k8s 部署maven项目

最后出现错误

Jenkins+harbor+gitlab+k8s 部署maven项目

为啥呢? 查看springbootdemo 的Dockerfile文件,查看第一行

FROM registry-scu.cloudtogo.cn/ubuntu:jdk

需要把 registry-scu.cloudtogo.cn 添加到 /etc/docker/daemon.json中

登录到jenkins服务器,修改 /etc/docker/daemon.json

vim /etc/docker/daemon.json

内容如下:

{"insecure-registries": ["192.168.10.122","registry-scu.cloudtogo.cn"]}

重新加载docker

/etc/init.d/docker reload

再次手动构建一次,点击Build Now

查看构建过程

出现以下提示,说明正在下载镜像 registry-scu.cloudtogo.cn/ubuntu:jdk

Jenkins+harbor+gitlab+k8s 部署maven项目

最后提示执行完成

Jenkins+harbor+gitlab+k8s 部署maven项目

查看harbor仓库

会发现多了一个镜像,这个镜像,就是刚刚构建时,提交的。

Jenkins+harbor+gitlab+k8s 部署maven项目

八、访问k8s 应用

查看Pod状态

root@k8s-master:~# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
ph-rc-nj7j2 / ImagePullBackOff 5m19s 192.168.36.68 k8s-node1 <none> <none>

发现pod运行在k8s-node1 这台服务器,状态是ImagePullBackOff

查看pod详细信息

kubectl describe po maven-deployment-7bd87867f8-6tlgp

输出:

Events:
Type Reason Age From Message
---- ------ ---- ---- -------
Normal Scheduled 7m15s default-scheduler Successfully assigned default/maven-deployment-7bd87867f8-6tlgp to k8s-node1
Normal Pulling 5m49s (x4 over 7m14s) kubelet, k8s-node1 Pulling image "192.168.10.122/maven:latest"
Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Failed to pull image "192.168.10.122/maven:latest": rpc error: code = Unknown desc = Error response from daemon: Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused
Warning Failed 5m49s (x4 over 7m14s) kubelet, k8s-node1 Error: ErrImagePull
Normal BackOff 5m36s (x6 over 7m13s) kubelet, k8s-node1 Back-off pulling image "192.168.10.122/maven:latest"
Warning Failed 2m11s (x20 over 7m13s) kubelet, k8s-node1 Error: ImagePullBackOff

出现

Get https://192.168.10.122/v2/: dial tcp 192.168.10.122:443: connect: connection refused

说明,k8s-node1 这台服务器的 /etc/docker/daemon.json 没有更改

登录到k8s-node1 这台服务器,修改文件

vim /etc/docker/daemon.json

内容如下:

{"insecure-registries": ["192.168.10.122"]}

重新加载docker

/etc/init.d/docker reload

重新加载pod

登录到k8s master服务器,删除pod,重新应用

root@k8s-master:~# cd /root/kube-conf/
root@k8s-master:~/kube-conf# kubectl delete -f ph-rc.yaml
service "maven-service" deleted
deployment.extensions "maven-deployment" deleted
root@k8s-master:~/kube-conf# kubectl apply -f ph-rc.yaml
service/maven-service created
deployment.extensions/maven-deployment created

再次查看状态

root@k8s-master:~/kube-conf# kubectl get pods -o wide
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE READINESS GATES
ph-rc-7bd7475544-q9b6j / Running 27s 192.168.36.77 k8s-node1 <none> <none>

发现处于Running状态了

访问应用页面

查看svc暴露的端口

root@k8s-master:~/kube-conf# kubectl get svc|grep maven
ph-service NodePort 10.98.152.31 <none> :/TCP 4m

可以发现,暴露的端口是31002

使用谷歌访问页面

http://192.168.10.130:31002/

效果如下:

Jenkins+harbor+gitlab+k8s 部署maven项目

使用k8s-node1 的ip

http://192.168.10.131:31002/

效果同上!

九、更新应用代码

打开本地的项目springbootdemo,修改文件IndexController.java

路径如下:

springbootdemo\src\main\java\com\example\demo\web\controller

修改下面2行内容,把数字加1

jsonObject.put("welcome", "");
jsonObject.put("welcome", "");

重新提交到gitlab,然后重新构建一次,点击Build Now

等待构建成功后,刷新页面

Jenkins+harbor+gitlab+k8s 部署maven项目

发现内容已经更新了!

文本参考链接:

https://linux265.com/news/3465.html

https://www.cnblogs.com/aguncn/p/9789320.html

https://juejin.im/post/5c07b1126fb9a049e82b4cfe

上一篇:jenkins+git+maven 增量部署思路以及相关脚本


下一篇:Android 自定义View及其在布局文件中的使用示例(三):结合Android 4.4.2_r1源码分析onMeasure过程