前言
- Habor是由VMWare公司开源的容器镜像仓库。事实上，Habor是在Docker Registry上进行了相应的企业级扩展，从而获得了更加广泛的应用，这些新的企业级特性包括：管理用户界面，基于角色的访问控制 ，AD/LDAP集成以及审计日志等，足以满足基本企业需求。
- 官方地址：https://vmware.github.io/harbor/cn/
一、Harbor简介
harbor是vmware开源的企业级registry，可以让你迅速的搭建自己的私有registry，harbor扩展的docker的registry，使harbor支持以下特性
- ① RBAC 基于角色的权限控制（ 是实施面向企业安全策略的一种有效的访问控制方式 ）
- ② 基于策略的镜像复制
- ③ 漏扫
- ④ LADP/AD支持
- ⑤ 镜像删除和垃圾清理
- ⑥ Notary镜像签名
- ⑦ 用户界面
- ⑧ 审计
- ⑨ RESful api
- ⑩ 安装简单（基于compose）
二、Harbor 架构即组件介绍
2.1 Harbor架构介绍
- Harbor 主要有6大模块，默认每个Harbor的组件都被封装成一个docker
container，所以可以通过compose来部署Harbor，总共分为8个容器运行，可通过docker cpmpos ps 查看
[root@localhost ~]# docker-compose ps
Name Command State Ports
--------------------------------------------------------------------------------------
harbor-adminserver /harbor/harbor_adminserver Up
harbor-db docker-entrypoint.sh mysqld Up 3306/tcp
harbor-jobservice /harbor/harbor_jobservice Up
harbor-log /bin/sh -c crond && rm -f Up 127.0.0.1:1514->514/tcp
...
harbor-ui /harbor/harbor_ui Up
nginx nginx -g daemon off; Up 0.0.0.0:443->443/tcp,
0.0.0.0:4443->4443/tcp,
0.0.0.0:80->80/tcp
registry /entrypoint.sh serve /etc/ Up 5000/tcp - 架构图
①harbor-adminserver
- harbor系统管理接口，可以修改系统配置以及获取系统信息
②harbor-db
- 存储项目的元数据、用户、规则、复制策略等信息
③harbor-jobservice
- harbor里面主要是为了镜像仓库之前同步使用的
④harbor-log
- 收集其他harbor的日志信息。rsyslogd
⑤harbor-ui
- 一个用户界面模块，用来管理registry。主要是前端的页面和后端CURD的接口
⑥nginx
- harbor的一个反向代理组件，代理registry、ui、token等服务。这个代理会转发harbor web和docker
client的各种请求到后端服务上。是个nginx。nginx负责流量转发和安全验证，对外提供的流量都是从nginx中转，它将流量分发到后端的ui和正在docker镜像存储的docker registry
⑦registry
- 存储docker images的服务，并且提供pull/push服务。harbor需要对image的访问进行访问控制，当client每次进行pull、push的时候，registry都需要client去token服务获取一个可用的token。
⑧redis
- 存储缓存信息
⑨webhook
- 当registry中的image状态发生变化的时候去记录更新日志、复制等操作。
⑩token service
- 在docker client进行pull/push的时候token(令牌)的发放
2.2、harbor-login 介绍
工作流程
- a：nginx代理在80端口收到client发来的请求，然后把该请求转发到后端的registry
- b：registry收到请求，因为registry是配置的token-based的认证，所以会直接返回一个401状态码，然后返回一个url，通过client去哪里获取token，也就是token service
- c：当docker client收到这个url后，会对这个url发送请求，需要在请求头中植入用户名和密码。
- d：当请求到达nginx反向代理后，nginx会把该请求转发至ui服务上，因为ui符核token服务在一个容器里，token服务会解码请求头中用户名和密码
- e：拿到用户名和密码后会合db（数据库）中的进行对比，如果验证无误，则返回成功，在返回的http请求中包含一个私有key
2.3、harbor-push
工作流程
省略了proxy转发这一步
当登录harbor成功后，docker push 就可以使用了
- a：docker client和registry交互，获取到token service 的url
- b：随后docker client和token service 交互后，告诉token 需要进行push操作
- c：token服务查看db，该用户是否有相关的权限来push image，如果有此权限，则返回一个私有的key
- d：docker client拿到token 后，会对registry发起push请求，当registry收到请求后，会用自己的公钥解密token，如果验证token是合格的，则开始image传输过程
2.4、clair
- clair 是 coreos 开源的容器漏洞扫描工具，在容器逐渐普及的今天，容器镜像安全问题日益严重。clair
是目前少数的开源安全扫描工具，主要提供OS（centos，debian，ubuntu等）的软件包脆弱性扫描。clair的可以单机部署也可以部署到k8s上，可以与现有的registry集成。harbor 很好的整合了 clair ，通过简单的UI就可以对上传的镜像扫描，还可以通过每天的定时扫描对所有镜像进行统一扫描，架构如下：
Notary
- notary是一套docker镜像的签名工具，用来保证镜像在pull，push和传输过程中的一致性和完整性，避免中间人攻击、避免非法的镜像更新和运行
2.5、私有仓库的优点
其实，私有库的镜像最原始来源还是从公库中下载的，但是企业公司中为什么不都直接使用公库下载需要的镜像呢，允许使用 registry 搭建本地私有仓库，具备这些公库不具备的优点：
- ① 节省网络带宽，针对每个镜像不用每个人都去*仓库上面下载，只需要从私有仓库中下载即可
- ② 提供镜像资源利用，针对公司内部使用的镜像，推送到本地私有仓库，以供内部相关人员使用
三、配置文件参数详解
- 关于Harbor.cfg配置文件有两类参数：所需/必要参数和可选参数
3.1、所需/必要参数
这些参数需要在配置文件Harbor.cfg中设置，如果用户更新它们后，需要运行install.sh脚本重新安装Harbour，参数将生效，具体参数如下：
① hostname
- 用于访问用户界面和register服务，它应该是目标主机的IP地址或完全限定的域名（FQDN)
② ui_url_protocol
- （http 或 https，默认为http）用于访问UI和令牌/通知服务的协议。如果公证处于启用状态，则此参数必须为https。（令牌默认有30分钟生命周期）
③ max_job_workers
- 镜像复制作业线程
④ db_password
- 用于db_auth 的MySQL 数据库root用户的密码（用户信息数据验证的存放位置，一般使用mysql）
⑤ customize_crt
- 该属性可设置为打开或关闭，默认打开，打开此属性，准备脚本创建私钥和根证书，用于生成/验证注册表令牌当由外部来源提供密钥和根证书时，将此属性设置为off
⑥ ssl_cert
- SSL证书的路径，仅当协议设置为htts时才应用
⑦ ssl_cert_key
- SSL密钥的路径，仅当协议设置为https时才应用
⑧ secretkey_path
- 用于复制策略中加密或解密远程register密码的密钥路径
3.2、可选参数
这些参数对于更新是可选的，即用户可以将其保留为默认值，并在启动Harbor后再Web UI上进行更新。
如果进入Harbor.cfg，只会再第一次启动Harbour时生效，随后对这些参数的更新，Harbor.cfg 将被忽略
- PS：如果选择通过UI设置这些参数，请确保再启动Harbor后立即执行此操作。具体来说，必须再注册或者再Harbor中创建任何新用户之前设置所需的auth_mode。当系统中由用户时（除了默认admin用户），auth_mode不能被更改。具体参数如下：
- Harbor需要该参数才能向用户发送“密码重置”点自邮件，并且只有再需要该功能时才需要
- 在默认的情况下SSL连接时没有启用。如果SMTP服务器需要SSL，但不支持STARTTLS，那么应该通过设置启用SSL email_ssl =TRUE
②harbour_admin_password
- 管理员的初始密码，只在Harbour第一次启动时生效。之后，此设置将被忽略，并且应UI中设置管理员的密码
- 默认用户名/密码为 admin/Harbor12345
③auth_mode
- 使用的认证类型，默认情况下，它是db_auth，即凭据存储在数据库中，对于LDAP（目录/文件形式）身份验证，请将其设置为idap_auth
④self_registration
- 启动/禁用用户注册功能。禁用时，新用户只能由Admin用户创建，只有管理员用户可以在Harbour中创建新用户
- 当auth_mode 设置为ldap_auth时，自注册功能将使用储于禁用状态，并且该标志被忽略
⑤Token_expiration
- 由令牌服务创建的令牌的到期时间（分钟），默认为30分钟（30分钟没有与harbor进行交互，则会失效，可在web页面和配置文件中做修改）
⑥project_creation_restriction
- 用于控制哪些用户有权限创建项目的标志。默认情况下，每个人都可以创建一个项目
- 如果将其值设置为"adminonly",那么只有admin可以创建项目
⑦verify_remote_cert
- 打开或关闭，默认打开，此标志决定了当Harbor与远程register实例通信时是否验证SSL/TLS证书
- 将此属性设置为off 将绕过SSL/TLS验证，这在远程实例具有自签名或不可信证书时经常使用
- 在默认情况下，Harbour将镜像存储在本地文件系统上，在生产环境中，可以考虑使用其他存储后端而不是本地文件系统
- 例如：S3、Openstack、Swif、Ceph等。但需要更新 common/template/registry/config.yml文件
四、搭建Harbor私有仓库
- 服务端：20.0.0.11
- 客户端：20.0.0.12
4.1、安装harbor程序和docker-compose
- 20.0.0.11
1、将下载好的harbor-offline-installer拉取到/root目录下并解压
[root@server1 ~]# cd harbor/
[root@server1 harbor]# tar zxvf harbor-offline-installer-v1.2.2.tgz
2、修改harbor配置文件
[root@server1 harbor]# vi harbor.cfg
hostname = 20.0.0.11 # 5，指向本机地址3、将已下载好的docker-compose文件拉取到 /usr/bin目录下
[root@server1 bin]# cd /usr/bin/ # 将docker-compose 复制到/bin目录下便于系统识别
[root@server1 bin]# chmod +x docker-compose # 给与docker-cpmpose执行权限，否则会harbor会安装失败4、启动harbor
[root@server1 ~]# cd harbor/
[root@server1 harbor]# sh install.sh
5、检查启动情况
[root@server1 harbor]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
vmware/harbor-log v1.2.2 36ef78ae27df 3 years ago 200MB
vmware/harbor-jobservice v1.2.2 e2af366cba44 3 years ago 164MB
vmware/harbor-ui v1.2.2 39efb472c253 3 years ago 178MB
vmware/harbor-adminserver v1.2.2 c75963ec543f 3 years ago 142MB
vmware/harbor-db v1.2.2 ee7b9fa37c5d 3 years ago 329MB
vmware/nginx-photon 1.11.13 6cc5c831fc7f 3 years ago 144MB
vmware/registry 2.6.2-photon 5d9100e4350e 3 years ago 173MB
vmware/postgresql 9.6.4-photon c562762cbd12 3 years ago 225MB
vmware/clair v2.0.1-photon f04966b4af6c 3 years ago 297MB
vmware/harbor-notary-db mariadb-10.1.10 64ed814665c6 3 years ago 324MB
vmware/notary-photon signer-0.5.0 b1eda7d10640 3 years ago 156MB
vmware/notary-photon server-0.5.0 6e2646682e3c 3 years ago 157MB
photon 1.0 e6e4e4a2ba1b 4 years ago 128MB6、使用浏览器访问本地IP
4.2、Harbor 的使用
1、项目创建
- 此时可以使用Docker命令在本地通过127.0.0.1 来登录和推送镜像，默认情况下，Register服务器在端口80上倾听
2、Harbor端服务器本地上传镜像
- 终端登录Harbor
[root@server1 ~]# docker login -u admin -p Harbor12345 http://127.0.0.1/
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded3、下载镜像测试
[root@server1 ~]# docker pull cirros
Using default tag: latest
latest: Pulling from library/cirros
d0b405be7a32: Pull complete
bd054094a037: Pull complete
c6a00de1ec8a: Pull complete
Digest: sha256:4e8ac7a10251079ad68188b1aab16f6e94d8708d82d0602953c43ad48c2f08ed
Status: Downloaded newer image for cirros:latest
docker.io/library/cirros:latest4、推送nginx镜像到私有仓库
- 定义标签
[root@server1 ~]# docker tag cirros:latest 127.0.0.1/test-1/cirros:v1
[root@server1 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
127.0.0.1/test-1/cirros v1 f9cae1daf5f6 44 hours ago 12.6M5、上传/推送镜像
[root@server1 ~]# docker push 127.0.0.1/test-1/cirros:v1
The push refers to repository [127.0.0.1/test-1/cirros]
984ad441ec3d: Pushed
f0a496d92efa: Pushed
e52d19c3bee2: Pushed
v1: digest: sha256:483f15ac97d03dc3d4dcf79cf71ded2e099cf76c340f3fdd0b3670a40a198a22 size: 9436、查看Harbor 镜像是否上传成功
4.3、客户端服务器使用Harbor
- 这里使用客户端服务器进行镜像下载、上传实验（20.0.0.12）
1、下载镜像
- ①在Harbor服务器本地终端操作是没有问题的，但是如果其他客户端上传镜像到Harbor，就会报错，出现此问题的原因是 Docker Registry 交互默认使用的是HTTPS，但是搭建私有镜像默认的是HTTP服务，所以与私有镜像交互时出现以下错误
[root@server2 ~]# docker login -u Admin -p Harbor12345 http://20.0.0.11
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
Error response from daemon: Get https://20.0.0.11/v2/: dial tcp 20.0.0.11:443: connect: connection refused- ②解决方法：修改docker.service 配置文件，关联私有仓库
[root@server2 ~]# cd /usr/lib/systemd/system
[root@server2 system]# vi docker.service
ExecStart=/usr/bin/dockerd -H fd:// --insecure-registry 20.0.0.11 --containerd=/run/containerd/containerd.sock
# 13，添加--insecure-registry 20.0.0.11，指向服务器地址
# ExecStart=/usr/bin/dockerd 准启动状态，加载指定目录的脚本
# fd:// --insecure-registry 20.0.0.11 --containe rd=/run/containerd/containerd.sock 指定连接 registry地址和容器的通信文件- ③重新加载进程、重启docker服务
[root@server2 ~]# systemctl daemon-reload
[root@server2 ~]# systemctl restart docker
[root@server2 ~]# docker login -u Admin -p Harbor12345 http://20.0.0.11
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded- ④下载私有仓库中已有的镜像
[root@server2 ~]# docker pull 20.0.0.11/test-1/cirros:v1
v1: Pulling from test-1/cirros
d0b405be7a32: Pull complete
bd054094a037: Pull complete
c6a00de1ec8a: Pull complete
Digest: sha256:483f15ac97d03dc3d4dcf79cf71ded2e099cf76c340f3fdd0b3670a40a198a22
Status: Downloaded newer image for 20.0.0.11/test-1/cirros:v1
20.0.0.11/test-1/cirros:v1
[root@server2 ~]# docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
20.0.0.11/test-1/cirros v1 f9cae1daf5f6 5 days ago 12.6MB- ⑤返回Harbor可以查看到下载和日志信息
2、上传镜像到私有库中
- ①先从共有仓库下载criros镜像
[root@server2 ~]# docker pull nginx
Using default tag: latest
latest: Pulling from library/nginx
6f28985ad184: Pull complete
29f7ebf60efd: Pull complete
879a7c160ac6: Pull complete
de58cd48a671: Pull complete
be704f37b5f4: Pull complete
158aac73782c: Pull complete
Digest: sha256:d2925188effb4ddca9f14f162d6fba9b5fab232028aa07ae5c1dab764dca8f9f
Status: Downloaded newer image for nginx:latest
docker.io/library/nginx:latest- ②修改标签、上传镜像到私有仓库
[root@server2 ~]# docker tag nginx:latest 20.0.0.11/test-1/nginx:v1
[root@server2 ~]# docker push 20.0.0.11/test-1/nginx:v1
The push refers to repository [20.0.0.11/test-1/nginx]
6b93c0e56d01: Pushed
2f2780a1a18d: Pushed
7278048f2330: Pushed
fc621d08b12b: Pushed
2230366c7c6c: Pushed
14a1ca976738: Pushed
v1: digest: sha256:48d56bae87c65ca642b0a1d13c3dc97c4430994991e5531ff123f77cdf975fae size: 1570③查看Harbor
五、私有仓库管理
5.1、 维护管理Harbor
Harbor私有仓库可以使用docker-compose进行管理，一些基本管理命令如下
1、关闭所有容器
- 需注意，使用docker-compose命令时，必须在docker-compose.yml相同的目录运行
[root@server1 ~]# cd harbor/
[root@server1 harbor]# docker-compose down -v
Stopping nginx ... done
Stopping harbor-jobservice ... done
Stopping harbor-ui ... done
Stopping registry ... done
Stopping harbor-adminserver ... done
Stopping harbor-db ... done
Stopping harbor-log ... done
Removing nginx ... done
Removing harbor-jobservice ... done
Removing harbor-ui ... done
Removing registry ... done
Removing harbor-adminserver ... done
Removing harbor-db ... done
Removing harbor-log ... done
Removing network harbor_harbor2、重新运行install.sh
[root@server1 harbor]# ./prepare
Clearing the configuration file: ./common/config/adminserver/env
Clearing the configuration file: ./common/config/ui/env
Clearing the configuration file: ./common/config/ui/app.conf
Clearing the configuration file: ./common/config/ui/private_key.pem
Clearing the configuration file: ./common/config/db/env
Clearing the configuration file: ./common/config/jobservice/env
Clearing the configuration file: ./common/config/jobservice/app.conf
Clearing the configuration file: ./common/config/registry/config.yml
Clearing the configuration file: ./common/config/registry/root.crt
Clearing the configuration file: ./common/config/nginx/nginx.conf
loaded secret from file: /data/secretkey
Generated configuration file: ./common/config/nginx/nginx.conf
Generated configuration file: ./common/config/adminserver/env
Generated configuration file: ./common/config/ui/env
Generated configuration file: ./common/config/registry/config.yml
Generated configuration file: ./common/config/db/env
Generated configuration file: ./common/config/jobservice/env
Generated configuration file: ./common/config/jobservice/app.conf
Generated configuration file: ./common/config/ui/app.conf
Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt
The configuration files are ready, please use docker-compose to start the service.3、重新启动所有容器
- 实验环境中，在重新刷新启动容器的时候不要关闭防火墙，否则会报错
[root@server1 harbor]# docker-compose up -d
Creating network "harbor_harbor" with the default driver
Creating harbor-log ... done
Creating registry ... done
Creating harbor-db ... done
Creating harbor-adminserver ... done
Creating harbor-ui ... done
Creating nginx ... done
Creating harbor-jobservice ... done5.2、创建Harbor用户
1、 添加用户
2、以上用户创建完成后只是创建了系统用户，下一步需要给与用户管理项目的权限
3、使用新用户登录
- ①首先现登出admin账户（在客户端操作）
[root@server2 ~]# docker logout
Removing login credentials for https://index.docker.io/v1/- ②使用新用户登录（切换用户身份）
[root@server2 ~]# docker login -u zhangsan -p Abc123123 http://20.0.0.11
WARNING! Using --password via the CLI is insecure. Use --password-stdin.
WARNING! Your password will be stored unencrypted in /root/.docker/config.json.
Configure a credential helper to remove this warning. See
https://docs.docker.com/engine/reference/commandline/login/#credentials-store
Login Succeeded- ③之后可以使用新用户进行镜像上传/下载等操作
总结
简单来说Harbor私有仓库进行简单的部署还是比较简单的，主要思路如下
- ① 环境：docker-ce
- ② 准备软件： Harbor、docker-compose
- ③ 修改harbor.cfg 中的hostname
- ④ 安装启动harbor（install.sh）
- ⑤ 搭建完成