Kubernetes集群支持VPC多路由表

背景

Kubernetes通过CloudProvider(又称CCM)组件在VPC路由表中添加合适的路由来打通集群中Pod之间的网络连接。
近期VPC发布了对多个路由表的支持能力,让用户可以自行选择ECS关联哪些路由表,为用户提供了丰富的路由管理能力。由于CCM早期版本中仅提供了VPC单路由表的支持,因此您需要将CCM镜像升级到registry.cn-hangzhou.aliyuncs.com/acs/cloud-controller-manager-amd64:v1.9.3.86-g4454991-aliyun来使用多路由表支持。并且CCM通过--cloud-config配置文件(routeTableIDs)指定需要使用哪些路由表。

前置条件

您需要有一个容器服务控制台创建的k8s集群。通过容器服务控制台创建一个k8s集群。 参考

配置CloudProvider组件

配置多路由表支持,需要您对CCM部署文件做如下修改。

  1. 创建cloud-config的ConfigMap。将其中的${ROUTE_TABLES_IDS}替换成您的VPC路由表id, 支持多个路由表列表,使用逗号分隔。 示例: vtb-t4n7k6u3m0n8407o7k1t7,vtb-t4n7k6u3m0n8407999999
apiVersion: v1
kind: ConfigMap
metadata:
  name: cloud-config
  namespace: kube-system
data:
  cloud-config.conf: |-
    {
        "Global": {
            "routeTableIDs": "${ROUTE_TABLES_IDS}"
        }
    }
  1. 使用命令行kubectl edit ds -n kube-system cloud-controller-manager修改CCM部署文件。 添加
    1). Volume声明,引用刚刚创建的cloud-config ConfigMap.
   volumes:
   - name: cloud-config
     configMap:
       name: cloud-config
       items:
       - key: cloud-config.conf
         path: cloud-config.conf

2). 引用cloud-config 卷。

     volumeMounts:
     - name: cloud-config
       mountPath: /etc/kubernetes/config

3). 变更镜像版本到v1.9.3.86-g4454991-aliyun
4). 修改CCM启动参数,添加- --cloud-config=/etc/kubernetes/config/cloud-config.conf
5). 取消/etc/kubernets 卷的readyOnly挂载属性。即删掉readOnly: true. 如下:

      volumeMounts:
      - mountPath: /etc/kubernetes/
        name: k8s

保存退出。如果CCM的Pod没有自动更新,可以尝试手动删除CCM Pod,强制更新。
配置完成后的CCM部署yaml文件请参考附件。
此时您的CCM可以通过配置支持VPC多路由表能力了。

附件:示例CCM部署。

apiVersion: v1
kind: ConfigMap
metadata:
  name: cloud-config
  namespace: kube-system
data:
  cloud-config.conf: |-
    {
        Global: {
            "routeTableIDs": "${ROUTE_TABLES_IDS}"
        }
    }
---
apiVersion: apps/v1
kind: DaemonSet
metadata:
  labels:
    app: cloud-controller-manager
    tier: control-plane
  name: cloud-controller-manager
  namespace: kube-system
spec:
  revisionHistoryLimit: 10
  selector:
    matchLabels:
      app: cloud-controller-manager
      tier: control-plane
  template:
    metadata:
      annotations:
        scheduler.alpha.kubernetes.io/critical-pod: ""
      creationTimestamp: null
      labels:
        app: cloud-controller-manager
        tier: control-plane
    spec:
      containers:
      - command:
        - /cloud-controller-manager
        - --kubeconfig=/etc/kubernetes/cloud-controller-manager.conf
        - --address=127.0.0.1
        - --allow-untagged-cloud=true
        - --leader-elect=true
        - --cloud-provider=alicloud
        - --allocate-node-cidrs=true
        - --cluster-cidr=${CLUSTER_CIDR}
        - --use-service-account-credentials=true
        - --route-reconciliation-period=3m
        - --v=5
        - --cloud-config=/etc/kubernetes/config/cloud-config.conf
        - --feature-gates=ServiceNodeExclusion=true
        image: registry.cn-hangzhou.aliyuncs.com/acs/cloud-controller-manager-amd64:v1.9.3.86-g4454991-aliyun
        imagePullPolicy: IfNotPresent
        livenessProbe:
          failureThreshold: 8
          httpGet:
            host: 127.0.0.1
            path: /healthz
            port: 10253
            scheme: HTTP
          initialDelaySeconds: 15
          periodSeconds: 10
          successThreshold: 1
          timeoutSeconds: 15
        name: cloud-controller-manager
        volumeMounts:
        - mountPath: /etc/kubernetes/
          name: k8s
        - mountPath: /etc/ssl/certs
          name: certs
        - mountPath: /etc/pki
          name: pki
        - name: cloud-config
          mountPath: /etc/kubernetes/config
      dnsPolicy: ClusterFirst
      hostNetwork: true
      nodeSelector:
        node-role.kubernetes.io/master: ""
      restartPolicy: Always
      serviceAccount: cloud-controller-manager
      serviceAccountName: cloud-controller-manager
      tolerations:
      - operator: Exists
      volumes:
      - hostPath:
          path: /etc/kubernetes
          type: ""
        name: k8s
      - hostPath:
          path: /etc/ssl/certs
          type: ""
        name: certs
      - hostPath:
          path: /etc/pki
          type: ""
        name: pki
      - name: cloud-config
        configMap:
          name: cloud-config
          items:
          - key: cloud-config.conf
            path: cloud-config.conf
  updateStrategy:
    rollingUpdate:
      maxUnavailable: 1
    type: RollingUpdate
上一篇:通信综合布线


下一篇:手动升级容器服务 kubernetes cloud-controller-manager组件