灰度发布我们有时候也会称为金丝雀发布(Canary),主要就是让一部分测试的服务也参与到线上去,经过测试观察看是否符号上线要求。
比如现在我们有两个名为 appv1 和 appv2 的 Nginx 服务,我们希望通过 Traefik 来控制我们的流量,将 3/4 的流量路由到 appv1,1/4 的流量路由到 appv2 去,这个时候就可以利用 Traefik2.0 中提供的带权重的轮询(WRR)来实现该功能,首先在 Kubernetes 集群中部署上面的两个服务。
截止v2.0.2版本,要实现上面的灰度发布、流量复制这些高级功能,只能通过 FileProvider 来实现,所以我们不能直接使用前面的 KubernetesCRDProvider 了。
appv1 服务的资源清单如下所示:(appv1.yaml)
apiVersion: apps/v1
kind: Deployment
metadata:
name: appv1
namespace: kube-system
spec:
selector:
matchLabels:
app: appv1
template:
metadata:
labels:
use: test
app: appv1
spec:
containers:
- name: nginx
image: nginx:1.15-alpine
ports:
- containerPort: 80
name: portv1
---
apiVersion: v1
kind: Service
metadata:
name: appv1
namespace: kube-system
spec:
selector:
app: appv1
ports:
- name: http
port: 80
targetPort: portv1
appv2 服务的资源清单如下所示:(appv2.yaml)
apiVersion: apps/v1
kind: Deployment
metadata:
name: appv2
namespace: kube-system
spec:
selector:
matchLabels:
app: appv2
template:
metadata:
labels:
use: test
app: appv2
spec:
containers:
- name: nginx
image: nginx:1.15-alpine
ports:
- containerPort: 80
name: portv2
---
apiVersion: v1
kind: Service
metadata:
name: appv2
namespace: kube-system
spec:
selector:
app: appv2
ports:
- name: http
port: 80
targetPort: portv2
直接创建上面两个服务:
# kubectl apply -f appv1.yaml
deployment.apps/appv1 created
service/appv1 created
# kubectl apply -f appv2.yaml
deployment.apps/appv2 created
service/appv2 created
# 通过下面的命令可以查看服务是否运行成功
# kubectl get pods -l use=test -n kube-system
NAME READY STATUS RESTARTS AGE
appv1-9d5c487-ssj9s 1/1 Running 0 51s
appv2-5b94b97989-cjmgj 1/1 Running 0 47s
由于 WRR 这个功能目前只支持 FileProvider,所以我们需要开启该 Provider 才能使用.
这里需要注意的是由于需要开启 FileProvider,所以我们需要提供一个文件用于该 Provider 的配置,我们这里是用在 Kubernetes 集群中的,所以可以通过一个 ConfigMap 对象,将配置文件内容挂载到 Traefik 的 Pod 中去.
如下所示,我们通过将一个名为 traefik-dynamic-conf 的 ConfigMap 对象挂载到了 /config 目录下面去,然后通过 --providers.file.filename
参数指定配置文件开启 FileProvider,另外添加 ---providers.file.watch=true
参数可以让 Traefik 动态更新配置:
# 参考内容
......
volumes:
- name: config
configMap:
name: traefik-dynamic-conf
containers:
- image: traefik:v2.0.2
name: traefik-ingress-lb
volumeMounts:
- name: config
mountPath: /config
ports:
- name: web
containerPort: 80
hostPort: 80
- name: admin
containerPort: 8080
hostPort: 8080
args:
- --entrypoints.web.Address=:80
- --api.insecure=true
- --providers.file.watch=true
- --providers.file.filename=/config/traefik-dynamic.toml
- --api
- --api.debug=true
- --api.dashboard=true
- --accesslog
完整的 YAML 文件可以前往 https://github.com/cnych/kubeapp/tree/master/traefik2/canary 获取。
上面是开启 FileProvider 的配置。
我这里安装的traefik是使用kubeoperator安装k8s集群时选择的,对照上面的文件,修改步骤有两种,第一种是修改对应的yaml文件,第二种是通过kubepi进行修改
修改对应的yaml文件
......
volumeMounts:
- name: data
mountPath: /data
- name: tmp
mountPath: /tmp
- name: config
mountPath: /config
args:
- "--global.checknewversion"
- "--global.sendanonymoususage"
- "--entryPoints.traefik.address=:18443/tcp"
- "--entryPoints.web.address=:80/tcp"
- "--entryPoints.websecure.address=:443/tcp"
- "--api.insecure=true"
- "--api.dashboard=true"
- "--ping=true"
- "--providers.kubernetescrd"
- "--providers.kubernetesingress"
- "--providers.file.watch=true"
- "--providers.file.filename=/config/traefik-dynamic.toml"
volumes:
- name: data
emptyDir: {}
- name: tmp
emptyDir: {}
volumes:
- name: config
configMap:
name: traefik-dynamic-conf
通过kubepi进行修改
等创建ConfigMap 对象后再通过kubepi添加挂载点
接下来需要创建对应的 ConfigMap 对象,首先创建一个名为 traefik-dynamic.toml 的文件,内容如下所示:
[http]
[http.routers]
[http.routers.Router0]
entryPoints = ["web"]
service = "app"
rule = "Host(`www.daniel.com`)"
[http.services]
[http.services.app]
[[http.services.app.weighted.services]]
name = "appv1"
weight = 3
[[http.services.app.weighted.services]]
name = "appv2"
weight = 1
[http.services.appv1]
[http.services.appv1.loadBalancer]
[[http.services.appv1.loadBalancer.servers]]
url = "http://appv1/"
[http.services.appv2]
[http.services.appv2.loadBalancer]
[[http.services.appv2.loadBalancer.servers]]
url = "http://appv2/"
上面这个配置文件就是我们需要配置的灰度发布的规则,创建一个名为 Router0 的路由,在 web 这个入口点上面监听 Host=www.daniel.com 这样的请求,将请求路由给名为 app 的服务,而该服务则将请求路由给了 appv1 这个服务,权重为 3,另外一部分请求路由给了 appv2 这个服务,权重为 1,也就是有 3/4 的请求会被路由到 http://appv1/ 这个真实的服务上,这个地址也就是我们 Kubernetes 集群中的 appv1 这个 Service 对象的 FQDN 地址,当然我们也可以用全路径( http://appv1.kube-system.svc.cluster.local:80)表示,因为都在 kube-system 这个命名空间下面,所以直接用服务名也是可以的,同样的另外的 1/4 请求会被路由到 http://appv2/ 这个真实的服务上。
# kubectl create configmap traefik-dynamic-conf --from-file=traefik-dynamic.toml -n kube-system
创建完成后,再更新 Traefik2.0,就可以将配置文件通过 ConfigMap 挂载到 Traefik Pod 的 /config/traefik-dynamic.toml
路径下面去了。
创建ConfigMap 对象后再通过kubepi添加挂载点
然后将域名www.daniel.com 解析到 Traefik 所在的 Pod,这个时候我们打开两个终端,分别去观察 appv1 和 appv2 两个应用的日志。
在浏览器中连续访问 www.daniel.com 4 次,我们可以观察到 appv1 这应用会收到 3 次请求,而 appv2 这个应用只收到 1 次请求,符合上面我们的 3:1 的权重配置。
不知道是否是 Traefik 的 BUG,同时将 KubernetesCRD Provider 和 File Provider 开启的时候,识别不了 File Provider 中的配置,该问题还有待验证。