使用nodejs+ harbor rest api 进行容器镜像迁移

最近因为基础设施调整,需要进行harbor 镜像仓库的迁移,主要是旧版本很老了,不想使用,直接
打算部署新的,原以为直接使用复制功能就可以,但是发现版本差异太大,直接失败,本打算使用中间
版本过度进行迁移,但是需要测试,好多功能,而且配置有点费事,尽管官方提供了升级说明,但是没敢
用,就怕出故障

解决方法

  • rest api 请求流程
    还好harbor 提供了rest api,还算比较全,project , repo,tags, 因为harbor 的界面就是基于bff 模式开发
    的,所以直接通过查看web 的api 请求,直接可以方便的了解api 的请求流程。
  • 镜像迁移流程
    容器镜像的额复制功能在harbor早期版本(新版没有太多了解),实际上就是pull push
    所以我的处理方式:
    有两个harbor 服务:新的以及旧的,同时都配置了ssl 证书(可信)
    调用api 获取实际需要的docker image : 格式dockerimagehost/project/image:tag
    处理同步:
 
docker pull dockerimageold/project/image:tag
docker tag dockerimageold/project/image:tag  dockerimagenew/project/image:tag
docker push dockerimagenew/project/image:tag

详细处理

为了简化同步,使用了管理员的权限,同时对于project 的权限,也是可以通过rest api 操作的

准备上边的同步shell

为了方便使用nodejs 开发

  • 项目准备
yarn init -y
  • 添加rest api 请求处理npm 包
yarn add node-fetch 
  • 添加npm scripts 并行处理npm 包
yarn  add  npm-run-all --dev 
  • 简单代码演示

    因为项目原因,只粘贴部分代码,如果后边有时间可以搞成一个通用的服务,同时演示的代码是固定project的,
    当然这样是有原因的,类似分治,可以方便问题project 单独快速处理

 
const fetch = require(‘node-fetch‘);
var project_images = []
// fetch project repos
fetch(`https://dockerimageold/api/repositories?project_id=projectid`, {
    method: ‘GET‘,
    headers: {
        ‘Content-Type‘: ‘application/json‘,
        "Authorization": "Basic base64username+password"
    }
}).then(res => res.json()).then(repos => {
    repos.forEach(repo => {
        setTimeout(() => {
            fetch(`https://dockerimageold/api/repositories/tags?repo_name=${repo}`, {
                    method: ‘GET‘,
                    headers: {
                        ‘Content-Type‘: ‘application/json‘
                    }
                })
                .then(res => res.json())
                .then(tags => {
                    if (tags.length > 0) {
                        tags.forEach(tag => {
                                let imageinfo = {
                                    reponame: repo,
                                    oldimageinfo: `dockerimageold/${repo}:${tag}`,
                                    newimageinfo: `dockerimagenew/${repo}:${tag}`,
                                    repo_image: `${repo}:${tag}`
                                };
                                project_images.push(imageinfo)
                        });
                    }
                })
                .catch(err => {
                    console.log(repo)
                })
        }, 1000)
    })
})
setTimeout(() => {
    project_images.forEach(item => {
        pull_push_sh = `docker pull dockerimageold/${item.repo_image} && docker tag dockerimageold/${item.repo_image} dockerimagenew/${item.repo_image} && docker push dockerimagenew/${item.repo_image}`
        console.log(pull_push_sh)
    })
}, 10000)
  • 以上代码说明
    代码很简单,就是循环处理docker image,因为我们需要的也是docker image
  • npm script 添加
    为了方便project,快速生成使用了npm-run-all 可以并行以及串行,快速的生成,很灵活,配置如下:
 
"scripts": {
    "run-all":"npm-run-all remove:sh --parallel g:*",
    "remove:sh":"rm -rf sh/*",
    "g:activitycenter": "node activitycenter.js > sh/activitycenter.sh",
    "g:common": "node common.js > sh/common.sh",
    "g:coredns": "node coredns.js > sh/coredns.sh",
    "g:dalong": "node dalong.js > sh/dalong.sh",
    "g:demo-space": "node demo-space.js > sh/demo-space.sh",
    "g:demoapp": "node demoapp.js > sh/demoapp.sh",
    "g:droneci": "node droneci.js > sh/droneci.sh",
    "g:formbuilder": "node formbuilder.js > sh/formbuilder.sh",
    "g:gf-performance-bulletin": "node gf-performance-bulletin.js > sh/gf-performance-bulletin.sh",
    "g:gitbase": "node gitbase.js > sh/gitbase.sh",
    "g:graylog": "node graylog.js > sh/graylog.sh",
    "g:ingress-nginx": "node ingress-nginx.js > sh/ingress-nginx.sh",
    "g:itapiway": "node itapiway.js > sh/itapiway.sh",
    "g:java": "node java.js > sh/java.sh",
    "g:jenkins-docker": "node jenkins-docker.js > sh/jenkins-docker.sh",
    "g:jenkins": "node jenkins.js > sh/jenkins.sh",
    "g:jira": "node jira.js > sh/jira.sh"
  }

说明:
我没生成的使用都是执行 yarn run-all 但是为了保证数据都是新的,每次都先删除老的shell,重新生成,同时对于生成
是并行的,可以快速帮助我们生成shell

  • 项目结构
    项目结构大体如下:(我删除了部分)
 
├── README.md
├── code
├── activitycenter.js
├── app.js
├── common.js
├── coredns.js
├── dalong.js
├── demo-space.js
├── demoapp.js
├── droneci.js
├── formbuilder.js
├── gf-performance-bulletin.js
├── gitbase.js
├── graylog.js
├── ingress-nginx.js
├── itapiway.js
  .......
├── java.js
├── jenkins-docker.js
├── rhel7.js
├── sh
├── activitycenter.sh
├── common.sh
├── coredns.sh
├── dalong.sh
├── demo-space.sh
├── demoapp.sh
 ......
├── droneci.sh
├── formbuilder.sh
├── gf-performance-bulletin.sh
├── gitbase.sh
├── graylog.sh
├── ingress-nginx.sh
└── yarn.lock
└── run.sh
  • 一键式同步
    因为上边以及生成的单proejct 的同步shell,所以为了方便,外部有一个run.sh 的文件,可以批量执行同步,之后就是dns 记录的修改了
    新镜像使用以前的域名(这个需要重新生成安装,但是因为数据是使用了数据卷,没关系)
    代码如下:
 
#!/usr/bin/sh
for file in code/sh/*.sh; do
   ./$file
done

同步执行

很简单,我们只需要执行 sh run.sh 就可以了,注意shell 脚本需要添加执行权限

说明

对于用户、权限的额同步,以上没有列出来,但是我们也是可以调用rest api 处理的,而且上边的代码,部分是写死的,后边
找点时间重构下,搞成一个通用的工具,方便迁移

参考资料

https://github.com/goharbor/harbor 
https://github.com/mysticatea/npm-run-all 
https://github.com/bitinn/node-fetch

使用nodejs+ harbor rest api 进行容器镜像迁移

上一篇:使用net中写api使用“Hashtable”属性返回json


下一篇:RESTful API 设计指南