如何对ACK在Terway网络下给pod指定网段加白

ACK的容器网络主要有Flannel和Terway两种,在Flannel网络下,因为pod访问其他服务是通过节点NAT出去的,所以,我们在Flannel网络下在数据库设置白名单时,首先可以将客户端pod通过节点绑定的方式调度到固定的少数节点上去,然后,在数据库侧直接对节点的ip地址做加白操作即可,该方式相对比较简单,不做赘述;但是,在Terway网络下,podip是通过ENI提供,从pod通过ENI访问外部服务,外部服务拿到的客户端ip是ENI提供的ip地址,我们即使把pod和节点做亲和性绑定,pod访问外部服务的客户端ip是ENI提供的ip而不是节点的ip,podip还是会从Terway指定的vswitch中随机分配ip地址,而且我们的客户端pod通常都会有自动伸缩之类的配置,那即使能固定podip也很难满足弹性伸缩的场景,最好的做法是直接给客户端指定一个网段来分配ip,然后在数据库处对这个网段来做加白操作,那么我们在Terway网络模式下应该怎么来指定pod使用的ip的范围呢?

其实Terway提供了给指定节点上的pod使用指定vswitch的功能,可以参考:https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md

简单来说,就是通过给指定节点添加标签来指定pod使用的vswitch,从而当我们把pod调度到有固定标签的节点上,该pod就可以通过自定义的vswitch去创建podip,下面简单列下相关操作步骤:

  • 在kube-system下单独创建一个configmap eni-config-fixed,在里面指定专门的vswitch,vsw-2zem796p76viir02c6980 10.2.1.0/24
apiVersion: v1
data:
  eni_conf: |
    {
       "vswitches": {"cn-beijing-h":["vsw-2zem796p76viir02c6980"]}
    }
kind: ConfigMap
metadata:
  name: eni-config-fixed
  namespace: kube-system
  • 创建节点池,给节点打上label terway-config:eni-config-fixed ;为了保证该节点池内的节点上不会出现其他pod,可以给节点池同时配置上污点,比如:fixed=true:NoSchedule
  • 通过节点池扩容出来的节点默认会有上面的label及污点
  • 创建pod调度到有上面label的节点上(注意添加容忍)
apiVersion: apps/v1 # for versions before 1.8.0 use apps/v1beta1
kind: Deployment
metadata:
  name: nginx-fixed
  labels:
    app: nginx-fixed
spec:
  replicas: 2
  selector:
    matchLabels:
      app: nginx-fixed
  template:
    metadata:
      labels:
        app: nginx-fixed
    spec:
      tolerations:
      - key: "fixed"
        operator: "Equal"
        value: "true"
        effect: "NoSchedule"
      nodeSelector:
        terway-config: eni-config-fixed
      containers:
      - name: nginx
        image: nginx:1.9.0 # replace it with your exactly <image_name:tags>
        ports:
        - containerPort: 80

可以看到podip已经从我们自己指定的vswitch分配了podip

kubectl get po -o wide | grep fixed
nginx-fixed-57d4c9bd97-lwfxr                   1/1     Running             0          39s    10.2.1.124    bj-tw.062149.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-tk4j9                   1/1     Running             0          39s    10.2.1.125    bj-tw.062148.aliyun.com   <none>           <none>
  • scale该deployment,可以看到生成的podip全部在指定的vswitch下
kubectl scale deployment nginx-fixed --replicas=30
nginx-fixed-57d4c9bd97-2rxjz                   1/1     Running     0          60s     10.2.1.132    bj-tw.062148.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-4w76t                   1/1     Running     0          60s     10.2.1.144    bj-tw.062149.aliyun.com   <none>           <none>
nginx-fixed-57d4c9bd97-5brzw                   1/1     Running     0          60s     10.2.1.143    bj-tw.062148.aliyun.com   <none>           <none>
...
  • 这样,我们可以在数据库侧直接对这个vswitch做加白操作,从而实现给动态podip做访问控制。

注意:

  1. 最好是新建的节点,如果是已有节点,需要在添加进集群之前先将ENI和ECS实例做解绑(ECS控制台上可以操作),添加进集群的方式选用自动添加已有节点(替换系统盘)
  2. 注意给特定的节点池打上label和taint,尽可能保证不需要加白的业务不会调度到这部分节点上
  3. 该用法其实是配置覆盖,会用现在指定的configmap里的配置来覆盖之前的eni-config的配置,请参照https://github.com/AliyunContainerService/terway/blob/master/docs/dynamic-config.md 中的描述进行配置
  4. 指定的vswitch的ip个数建议为预计的pod个数的2倍(或更多),一方面可以给将来的扩容多一些余量,另外也避免当故障发生导致podip无法及时回收时出没有ip可分配的故障
上一篇:HTML自定义弹出框


下一篇:phpspreadsheet 导出excel简单封装