K8S网络

环境信息

节点(node)IP:192.168.0.11
服务配置:3副本Nginx服务
服务CLUSTER-IP:10.254.198.92
服务CLUSTER PORT:80
服务NodePort:32110

如何处理访问Service的流量?

步骤1 将流量导入KUBE-SERVICES链

k8s创建的服务对外提供NodePort或ClusterIP的访问方式,而真正负责服务的是内部各pod(如172.16.0.2,172.16.0.3,172.16.0.4),kube-proxy就是负责外部与内部的转发工作,在使用IPTABLES做转发的模式下,nat表中KUBE-SERVICES链负责该工作,后续详述该链内容,首先分析下如何将访问Service的流量导入KUBE-SERVICES链。

本机通过NodePort或者ClusterIP访问service,经过IPTABLES的主要表、链如下:

NAT OUTPUT
FILTER OUTPUT
NAT POSTROUTING

外部通过NodePort访问service,经过IPTABLES的主要表、链如下:

NAT PREROUTING
FILTER FORWARD
NAT POSTROUTING

分析:
以上两类访问方式流量会分别经过NAT的OUTPUT链和PREROUTING 链,所以可以在这两处需要将流量截获并转发至KUBE-SERVICES链。

验证:
NAT OUTPUT 链配置:

Chain OUTPUT (policy ACCEPT)
target     prot opt source               destination         
LOG        all  --  0.0.0.0/0            0.0.0.0/0            LOG flags 0 level 4 prefix "** NAT OUTPUT **"
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */
...

NAT PREROUTING 链配置:

Chain PREROUTING (policy ACCEPT)
target     prot opt source               destination         
LOG        all  --  0.0.0.0/0            0.0.0.0/0            LOG flags 0 level 4 prefix "** NAT PREROUTING **"
KUBE-SERVICES  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service portals */
...

步骤二 KUBE-SERVICES 链进行流量转发

(1)将访问ClusterIP(10.254.198.92:80)和NodePort的流量分成两类处理,以下两条规则分别匹配
ClusterIP和NodePort的流量。

Chain KUBE-SERVICES (2 references)
target     prot opt source               destination         
...
KUBE-SVC-I64SNEMOLCWHJHS3  tcp  --  0.0.0.0/0            10.254.198.92        /* default/nginx-service-nodeport: cluster IP */ tcp dpt:80
KUBE-NODEPORTS  all  --  0.0.0.0/0            0.0.0.0/0            /* kubernetes service nodeports; NOTE: this must be the last rule in this chain */ ADDRTYPE match dst-type LOCAL

(2)访问ClusterIP的流量进一步处理,最终实现分配给后端pods。

Chain KUBE-SVC-I64SNEMOLCWHJHS3 (2 references)
target     prot opt source               destination         
KUBE-SEP-MMWJ6M2J72TU3J64  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ statistic mode random probability 0.33332999982
KUBE-SEP-GRLEVIWNO4P37GSQ  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ statistic mode random probability 0.50000000000
KUBE-SEP-74XRUOWV76LDS3ID  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */

分析:后端有3个pod,以上规则中通过random算法将流量分发,由随机数可以看出并不是平均分配,接下来进一步查看其中1个pod子链的规则。

Chain KUBE-SEP-MMWJ6M2J72TU3J64 (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  all  --  172.17.0.2           0.0.0.0/0            /* default/nginx-service-nodeport: */
DNAT       tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ tcp to:172.17.0.2:80

分析:通过DNAT规则可以看出,将流量转发到了POD(172.17.0.2:80)中,其他两条也是类似配置。

(3)访问NodePort的流量进一步处理,最终实现分配给后端pods。

Chain KUBE-NODEPORTS (1 references)
target     prot opt source               destination         
KUBE-MARK-MASQ  tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ tcp dpt:32110
KUBE-SVC-I64SNEMOLCWHJHS3  tcp  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ tcp dpt:32110

分析:
第一条规则(KUBE-MARK-MASQ)是对流量进行了标记(MARK or 0x4000),返回后继续执行第二条规则。
第二条规则KUBE-SVC-I64SNEMOLCWHJHS3与上面分析的ClusterIP经过的链相同,即进一步分配给后端pod:

Chain KUBE-SVC-I64SNEMOLCWHJHS3 (2 references)
target     prot opt source               destination         
KUBE-SEP-MMWJ6M2J72TU3J64  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ statistic mode random probability 0.33332999982
KUBE-SEP-GRLEVIWNO4P37GSQ  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */ statistic mode random probability 0.50000000000
KUBE-SEP-74XRUOWV76LDS3ID  all  --  0.0.0.0/0            0.0.0.0/0            /* default/nginx-service-nodeport: */
K8S网络K8S网络 weixin_35664258 发布了22 篇原创文章 · 获赞 4 · 访问量 6096 私信 关注
上一篇:容器服务 TKE 上服务暴露的几种方式


下一篇:【开源.NET】 轻量级内容管理框架Grissom.CMS(第二篇前后端交互数据结构分析)