背景
基于阿里云自己手动搭建了几次k8s集群,采用flannel VXLAN 构建的Overlay覆盖网络, (关闭了安全组,route路由表设置正常 iptables规则都开启Accept ,主机上ip_forward功能正常开启)均出现k8s跨节点 pod网络不通,k8s集群中宿主机无法ping通跨主机的pod id。
备注:(网络上也有类似问题,大多数是通过iptables转发是不是有限制之类的解决,不生效)
两台节点k8s集群:
宿主机ip地址为:
10.136.1.251 flannel 分配ip 网段为10.244.0.0/24
10.136.1.252 flannel 分配ip 网段为 10.244.1.0 /24
大致现象
1、宿主机之间网络是通的
2、宿主机可以 ping 通部署在当前主机上的pod ,去ping 部署在其他宿主机pod ip 不通
问题排查
- ifconfig配置 是否有问题
节点一
节点二
ifconfig配置
网段配置基本是正常的,cni0、flannel.1 、eth0 网络设备正常启动 ,都已经分配了正常的ip 子网这块也都配置正常。
- 查看宿主机路由是否正常
节点一路由表:
节点二路由表:
flannel路由配置正常
- iptables规则是否配置正常
节点一:
节点二:
iptable 规则配置没问题,基本都是accept
- 网络抓包
使用tcpdump 分别抓去flannel.1、eth0 网卡,发现数据包从eth0出去后 没有响应 对应节点并没有收到包
问题结论:
在排查过程中:
- flannel.1网段设置正确 ifconfig。
- route -n路由表配置正确
- iptable -L -N查看 没有相关Deny
- FDB都正常
使用tcpdump 分别抓去flannel.1、eth0 网卡,发现数据包从eth0出去后 没有响应 对应节点并没有收到包
,因此预计到是云服务厂商安全组设置的问题,在传输层被拦截了,最终定位到是阿里云服务器企业安全组配置的问题,在传输层就进行了拦截,导致发出去的包没有回来被deny了 ,因此这块去开启安全组就解决了问题。