《Docekr入门学习篇》——Docker仓库harbor

Harbor

Harbor仓库介绍

我们在日常Docker容器使用和管理过程中,渐渐发现部署企业私有仓库往往是很有必要的, 它可以帮助你管理企业的一些敏感镜像, 同时由于Docker Hub的下载速度和GFW的原因, 往往需要将一些无法直接下载的镜像导入本地私有仓库. 而Harbor就是部署企业私有仓库的一个不二之选。Harbor是由VMware公司开源的企业级的Docker Registry管理项目,Harbor主要提供Dcoker Registry管理UI,提供的功能包括:基于角色访问的控制权限管理(RBAC)、AD/LDAP集成、日志审核、管理界面、自我注册、镜像复制和中文支持等。Harbor的目标是帮助用户迅速搭建一个企业级的Docker registry服务。它以Docker公司开源的registry为基础,额外提供了如下功能:

->  基于角色的访问控制(Role Based Access Control)

->  基于策略的镜像复制(Policy based image replication)

->  镜像的漏洞扫描(Vulnerability Scanning)

->  AD/LDAP集成(LDAP/AD support)

->  镜像的删除和空间清理(Image deletion & garbage collection)

->  友好的管理UI(Graphical user portal)

->  审计日志(Audit logging)

->  RESTful API

->  部署简单(Easy deployment)

Harbor的所有组件都在Dcoker中部署,所以Harbor可使用Docker Compose快速部署。需要特别注意:由于Harbor是基于Docker Registry V2版本,所以docker必须大于等于1.10.0版本,docker-compose必须要大于1.6.0版本

Harbor仓库结构

Harbor的每个组件都是以Docker容器的形式构建的,可以使用Docker Compose来进行部署。如果环境中使用了kubernetes,Harbor也提供了kubernetes的配置文件。

Harbor大概需要以下几个容器组成

ui(Harbor的核心服务)

log(运行着rsyslog的容器,进行日志收集)

mysql(由官方mysql镜像构成的数据库容器)

Nginx(使用Nginx做反向代理)

registry(官方的Docker registry)

adminserver(Harbor的配置数据管理器)

jobservice(Harbor的任务管理服务)

redis(用于存储session)。

Harbor是一个用于存储和分发Docker镜像的企业级Registry服务器,整体架构还是很清晰的。

《Docekr入门学习篇》——Docker仓库harbor

《Docekr入门学习篇》——Docker仓库harbor

Harbor依赖的外部组件

-> Nginx(即Proxy代理层): Nginx前端代理,主要用于分发前端页面ui访问和镜像上传和下载流量; Harbor的registry,UI,token等服务,通过一个前置的反向代理统一接收浏览器、Docker客户端的请求,并将请求转发给后端不同的服务。

-> Registry v2: 镜像仓库,负责存储镜像文件; Docker官方镜像仓库, 负责储存Docker镜像,并处理docker push/pull命令。由于我们要对用户进行访问控制,即不同用户对Docker image有不同的读写权限,Registry会指向一个token服务,强制用户的每次docker pull/push请求都要携带一个合法的token, Registry会通过公钥对token进行解密验证。

-> Database(MySQL或Postgresql):为core services提供数据库服务,负责储存用户权限、审计日志、Docker image分组信息等数据。

Harbor自有组件

-> Core services(Admin Server): 这是Harbor的核心功能,主要提供以下服务:

-> UI:提供图形化界面,帮助用户管理registry上的镜像(image), 并对用户进行授权。

-> webhook:为了及时获取registry 上image状态变化的情况, 在Registry上配置webhook,把状态变化传递给UI模块。

-> Auth服务:负责根据用户权限给每个docker push/pull命令签发token. Docker 客户端向Regiøstry服务发起的请求,如果不包含token,会被重定向到这里,获得token后再重新向Registry进行请求。

-> API: 提供Harbor RESTful API

-> Replication Job Service:提供多个 Harbor 实例之间的镜像同步功能。

-> Log collector:为了帮助监控Harbor运行,负责收集其他组件的log,供日后进行分析。

再来仔细看下Harbor主要组件和数据流走向:

《Docekr入门学习篇》——Docker仓库harbor

> proxy,它是一个nginx前端代理,主要是分发前端页面ui访问和镜像上传和下载流量,上图中通过深蓝色先标识;

-> ui提供了一个web管理页面,当然还包括了一个前端页面和后端API,底层使用mysql数据库;

-> registry是镜像仓库,负责存储镜像文件,当镜像上传完毕后通过hook通知ui创建repository,上图通过红色线标识,当然registry的token认证也是通过ui组件完成;

-> adminserver是系统的配置管理中心附带检查存储用量,ui和jobserver启动时候回需要加载adminserver的配置,通过灰色线标识;

-> jobsevice是负责镜像复制工作的,他和registry通信,从一个registry pull镜像然后push到另一个registry,并记录job_log,上图通过紫色线标识;

-> log是日志汇总组件,通过docker的log-driver把日志汇总到一起,通过浅蓝色线条标识。

Harbor的误区

误区一: Harbor是负责存储容器镜像的 (Harbor是镜像仓库,那么它就应当是存储镜像的)

其实关于镜像的存储,Harbor使用的是官方的docker registry服务去完成,至于registry是用本地存储或者s3都是可以的,Harbor的功能是在此之上提供用户权限管理、镜像复制等功能,提高使用的registry的效率。

误区二:Harbor镜像复制是存储直接复制 (镜像的复制,很多人以为应该是镜像分层文件的直接拷贝)

其实Harbor镜像复制采用了一个更加通用、高屋建瓴的做法,通过docker registry 的API去拷贝,这不是省事,这种做法屏蔽了繁琐的底层文件操作、不仅可以利用现有docker registry功能不必重复造*,而且可以解决冲突和一致性的问题。

Harbor的部署

不建议使用kubernetes来部署, 原因是镜像仓库非常重要, 尽量保证部署和维护的简洁性, 因此这里直接使用compose的方式进行部署。官方提供3种部署Harbor的方式:

1)在线安装: 从Docker Hub下载Harbor的镜像来安装, 由于Docker Hub比较慢, 建议Docker配置好加速器。

2)离线安装: 这种方式应对与部署主机没联网的情况使用。需要提前下载离线安装包: harbor-offline-installer-.tgz 到本地

3)OVA安装: 这个主要用vCentor环境是使用

后面部署时会为Docker配置镜像加速器, 因此会采用在线部署的方式, 部署步骤如下:

-> 下载Harbor最新的在线安装包

-> 配置Harbor (harbor.cfg)

-> 运行install.sh来安装和启动Harbor

-> Harbor的日志路径:/var/log/harbor

Harbor仓库部署的官方要求的最小系统配置

-> 2个cpu

-> 4g内存

-> 40g硬盘,因为是存储镜像的所以推荐硬盘大点。

Harbor仓库环境部署

环境准备

Harbor以容器的形式进行部署, 因此可以被部署到任何支持Docker的Linux发行版, 要使用Harbor,需要安装docker和docker-compose编排工具,并且具备如下环境:
Python2.+
Docker Engine 1.10+
Docker Compose 1.6.+ 这里测试环境部署到Centos7.5机器上,如下:
[root@harbor-node ~]# cat /etc/redhat-release
CentOS Linux release 7.6. (Core) [root@harbor-node ~]# setenforce
[root@harbor-node ~]# cat /etc/sysconfig/selinux
...........
SELINUX=disabled [root@harbor-node ~]# systemctl stop firewalld
[root@harbor-node ~]# systemctl disable firewalld
[root@harbor-node ~]# firewall-cmd --state
not running centos7自带的python版本就是2.7.5
[root@harbor-node ~]# python --version
Python 2.7.

安装docker

更新yum包
[root@harbor-node ~]# yum update 卸载旧版本 Docker
[root@harbor-node ~]# yum remove docker docker-common docker-selinux docker-engine 安装软件包
[root@harbor-node ~]# yum install -y yum-utils device-mapper-persistent-data lvm2 添加 Docker yum源
[root@harbor-node ~]# yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
Loaded plugins: fastestmirror
adding repo from: https://download.docker.com/linux/centos/docker-ce.repo
grabbing file https://download.docker.com/linux/centos/docker-ce.repo to /etc/yum.repos.d/docker-ce.repo
repo saved to /etc/yum.repos.d/docker-ce.repo 安装 Docker (直接yum按照docker-ce即可)
随着Docker的不断流行与发展,docker公司(或称为组织)也开启了商业化之路,Docker 从 .03版本之后分为 CE(Community Edition) 和 EE(Enterprise Edition):
) Docker EE由公司支持,可在经过认证的操作系统和云提供商中使用,并可运行来自Docker Store的、经过认证的容器和插件。
) Docker CE是免费的Docker产品的新名称,Docker CE包含了完整的Docker平台,非常适合开发人员和运维团队构建容器APP。
事实上,Docker CE 17.03,可理解为Docker 1.13.1的Bug修复版本。因此,从Docker .13升级到Docker CE .03风险相对是较小的。 [root@harbor-node ~]# yum -y install docker-ce 启动 Docker
[root@harbor-node ~]# systemctl start docker
[root@harbor-node ~]# systemctl enable docker
[root@harbor-node ~]# systemctl status docker

安装Docker Compose

Docker Compose 是 Docker 容器进行编排的工具,定义和运行多容器的应用,可以一条命令启动多个容器。

安装 epel-release
[root@harbor-node ~]# yum install epel-release 安装 python-pip
[root@harbor-node ~]# yum install -y python-pip 安装 docker-compose
[root@harbor-node ~]# pip install docker-compose
.........
Successfully installed asn1crypto-0.24. bcrypt-3.1. cached-property-1.5. certifi-2019.3. cffi-1.12. chardet-3.0. cryptography-2.6. docker-3.7. docker-compose-1.24. docker-pycreds-0.4. dockerpty-0.4. docopt-0.6. enum34-1.1. functools32-3.2..post2 idna-2.7 jsonschema-2.6. paramiko-2.4. pyasn1-0.4. pycparser-2.19 pynacl-1.3. requests-2.20. texttable-0.9. urllib3-1.24. websocket-client-0.56.
You are using pip version 8.1., however version 19.1. is available.
You should consider upgrading via the 'pip install --upgrade pip' command. 查看 docker-compose 版本号
[root@harbor-node ~]# docker-compose -version
docker-compose version 1.24., build 0aa5906 [root@harbor-node ~]# pip freeze | grep compose
You are using pip version 8.1., however version 19.1. is available.
You should consider upgrading via the 'pip install --upgrade pip' command.
docker-compose==1.24. 安装 git
[root@harbor-node ~]# yum install git

配置加速器

[root@harbor-node ~]# mkdir -p /etc/docker
[root@harbor-node ~]# cat /etc/docker/daemon.json
{
"registry-mirrors": ["https://v5d7kh0f.mirror.aliyuncs.com"]
}

下载harbor安装包安装

[root@harbor-node ~]# ll harbor-online-installer-v1.8.0.tgz
-rw-r--r-- root root May : harbor-online-installer-v1.8.0.tgz [root@harbor-node ~]# tar -zvxf harbor-online-installer-v1.8.0.tgz
[root@harbor-node ~]# cd harbor
[root@harbor-node harbor]# ls
harbor.yml install.sh LICENSE prepare
下载下来之后解压缩,目录下会有harbor.yaml (新版本是.yaml文件,之前版本是.conf 或者 .cfg文件),就是Harbor的配置文件了。
[root@harbor-node harbor]# cp harbor.yml harbor.yml.bak
[root@harbor-node harbor]# vim harbor.yml
[root@harbor-node harbor]# cat harbor.yml |grep -v "#"|grep -v "^$"
hostname: 192.168.1.204
http:
port:
harbor_admin_password: SJNY@
database:
password: root123
data_volume: /data
clair:
updaters_interval:
http_proxy:
https_proxy:
no_proxy: 127.0.0.1,localhost,core,registry
jobservice:
max_job_workers:
chart:
absolute_url: disabled
log:
level: info
rotate_count:
rotate_size: 200M
location: /var/log/harbor
_version: 1.8.
配置解释
hostname: 修改成Harbao部署机自身的ip地址
db_password: 这是postgresql数据库root密码
harbor_admin_password: harbor初始管理员密码为Harbor12345, 这里最好修改成自己的密码,默认密码至少8位,最好是大小写、数字和特殊字符。
配置完Harbor之后,接着进行安装启动Harbor,Harbor目录下有一个install.sh, 执行它来进行安装
[root@harbor-node harbor]# ./install.sh
...........
...........
✔ ----Harbor has been installed and started successfully.---- Now you should be able to visit the admin portal at http://192.168.1.204.
For more details, please visit https://github.com/goharbor/harbor .
安装完成后,会发现解压目录harbor下面多了一个docker-compose.yml文件,里面包含了harbor依赖的镜像和对应容器创建的信息
查看harbor对应容器信息(还可以执行"docker images"和"docker ps"查看harbor的镜像和容器情况)
[root@harbor-node harbor]# docker-compose ps #"注意docker-compose"命令只能在当前harbor目录下使用(因为该目录下有harbor配置文件)
Name Command State Ports
---------------------------------------------------------------------------------------------
harbor-core /harbor/start.sh Up (healthy)
harbor-db /entrypoint.sh postgres Up (healthy) /tcp
harbor-jobservice /harbor/start.sh Up
harbor-log /bin/sh -c /usr/local/bin/ ... Up (healthy) 127.0.0.1:->/tcp
harbor-portal nginx -g daemon off; Up (healthy) /tcp
nginx nginx -g daemon off; Up (healthy) 0.0.0.0:->/tcp
redis docker-entrypoint.sh redis ... Up /tcp
registry /entrypoint.sh /etc/regist ... Up (healthy) /tcp
registryctl /harbor/start.sh Up (healthy) 然后就可以访问harbor了,访问地址为:http://192.168.1.204
用户名为admin,密码为配置文件中定义的"SJNY@123"

《Docekr入门学习篇》——Docker仓库harbor

Harbor私有仓库

[root@harbor-node harbor]# docker login 192.168.1.204
Username: admin
Password:
Error response from daemon: Get https://192.168.1.204/v1/users/: dial tcp 192.168.1.204: connect: connection refused
解决办法:
在/etc/docker/daemon.json 文件里添加"insecure-registries"配置 (第一行是之前添加的docker加速配置),注意两行之间有一个","逗号隔开
[root@harbor-node harbor]# vim /etc/docker/daemon.json
{
"registry-mirrors": ["https://v5d7kh0f.mirror.aliyuncs.com"],
"insecure-registries": ["192.168.1.204"]
} 修改过后重启docker, 然后重启Harbor服务
[root@harbor-node harbor]# systemctl restart docker
[root@harbor-node harbor]# docker-compose stop
[root@harbor-node harbor]# docker-compose start 然后再测试再harbor本机登录
[root@harbor-node harbor]# docker login 192.168.1.204
Username: admin
Password:
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded
[root@harbor-node harbor]#
登录的账号信息都保存到/root/.docker/config.json文件里了
[root@harbor-node harbor]# cat /root/.docker/config.json
{
"auths": {
"192.168.1.204": {
"auth": "YWRtaW46a2V2aW5AQk8xOTg3"
}
},
"HttpHeaders": {
"User-Agent": "Docker-Client/18.09.6 (linux)"
}

只要/root/.docker/config.json里的信息不删除,后续再次登录的时候,就不用输入用户名和密码了

Harbor仓库使用

#镜像打标签的命令

docker tag 镜像名:标签 私服地址/仓库项目名/镜像名:标签

#推送到私服的命令

docker push 私服地址/仓库项目名/镜像名:标签

#从私服拉取镜像的命令

docker pull 私服地址/仓库项目名/镜像名:标签

上一篇:Socket通信客户端和服务端代码


下一篇:docker简单介绍---部署私有docker仓库Registry