问题描述及现象
某客户计划通过P2V工具迁移500台左右镜像至阿里云华北1(青岛),在应用数据迁移传输过程中是把用户的系统盘、数据盘的数据通过公网传输到阿里云中转ECS实例上。
某客户6.12-6.13号批量迁移100台基本正常,从2018.6.13号晚10点左右开始连接阿里云中转ECS实例就出现中断,现象为在客户端telnet中转ECS实例8703端口提示Connection closed by foreign host. 但检查中转ECS实例的http 服务8080正常,而且其它地方测试中转ECS实例8073端口、8080端口服务均正常。
6.20-6.21恢复正常后,继续批量迁移了130台左右,但6.25号开始又问题重现。
问题处理过程
6.15号
12点左右开始,客户再次重现问题。
在客户侧telnet 10次都失败了,在阿里云ECS侧(47.104.79.200,i-m5ecitgdpobfwwrzb6bm)抓包如上rsync_server.cap。同时在其它地方telnet 正常。
和客户修改传输端口为8702测试了一下,telnet 10次全部成功,换回8703就不行了。这个跟网络运营商一贯的封端口的手法很类似,应该是端口被记录并限制了。
6.25号
客户临时改端口方案也行不通了,修改了2次端口都是传了一部分之后就被强制断开了,报一样的传输错误。但是在其他地方telnet中转ECS测试传输正常。
6.26号
20:30分-22:00分 迁云专家服务团队进入排障
1)从历史抓包信息来看,初步判断是安全策略或网络质量导致请求超时。
注:关于TCP的几个FLAGS字段标识,我这里简单介绍一下,有兴趣深入了解的可以自行百度查相关材料,大概含义是:
SYN表示建立连接,
FIN表示关闭连接,
ACK表示响应,
PSH表示有 DATA数据传输,
RST表示连接重置。
2)同时,从客户反馈的网络架构环境来看,客户网络环境部署了一些DDOS、FW等的安全防护的设备。
3)重新启动迁移任务进行测试,此时段网络传输正常。
22:10分-23:00问题重现
1)从客户反馈的出口监控流量上看已经达到了带宽上限200M。
2)客户侧通过检查FW上的log日志暂未发现异常信息。
3)由于时间关系,总结并计划第二天排查的思路:
(1)请XXX客户数据中心部门画一下当前的网络拓扑图,明天和阿里云专家一起开会介绍。
(2)请XXX客户数据中心部门和运营商确认:如果超过了目前购买的200M带宽,运营商会如何处理?协调让运营商取消限制进行一次测试。
(3)后续迁移,启用迁移工具限流,设置总流量不超过100M。
(4)请XXX客户数据中心部门,将迁移时的3个随机IP(NAT出去的外部地址)修改为1个,然后进行测试。
6.27号
10:10 了解客户环境
按昨晚计划的排查思路,客户介绍网络环境,从中了解到客户IDC部署了流量清洗AntiDDoS设备、链路负载均衡F5、H3C M9006防火墙设备等。大致的网络环境如下所示:
10:20 查看日志
查看AntiDDoS、M9006日志、策略等,均未发现异常信息。
#
#
#
10:30 切换线路
将原来的移动线路切换至联通线路,将SNAT设置为一个公网IP X.X.X.62,同时将带宽限流为20M进行迁移测试,此时P2V迁移工具传系统盘、数据盘均正常。
11:00 问题重现
源服务器测试:
其它公网环境:
12:00-15:00 问题范围定位
1)在客户网络环境互联网区最外层跟运营商对接互联的华为C6850设备上设置联通问题IP(X.X.X.62),也即是原来SNAT设置的公网IP。测试此时联通线路是否正常的.排除定位是联通线路问题还是企业内部网络问题,把范围定位.
2)在C6850 测试8703端口不通,但可以访问外部网络,跟源迁移服务器情况一致,基本可以判断此异常问题跟客户网络环境无关。
15:30 更换SNAT公网地址
更换SNAT公网地址测试8703端口通过,即将联通外网IP X.X.X.62更改为X.X.X.60).基本上可以确定客户的X.X.X.62 8703端口被上游运营商、云厂商封堵或拦截。
7、总结并计划明天下一步的排查思路:
1)阿里云网络排查,联系“网络运营服务台”协助定位。
2)阿里云安全策略排查,联系阿里云安全同事。
3)切换电信线路进行复盘迁移测试(移动、联通线路均已测试且都能重现同样的问题出来,但为了让客户更加积极配合我们进行排查问题,故继续又选电信线路进行测试,尽管理论上三家运营商同时封端口的概率很低)。
6.28号 问题解决
1)09:30 咨询阿里云-安全部李XX,从描述的现象看很像是安全攻击。
2)10:30 联系阿里云-安全部陈XX,陈XX通过安全运营平台查看到拦截信息。
3)12:30阿里云-安全部陈XX把客户的公网IP添加为白名单后问题解决。
影响范围
数据迁移中断,影响项目正常进行。
问题结论
安全策略:本次数据迁移网络异常主要是命中了阿里云的“防恶意攻击的安全策略”。
触发场景:在短时间内的大批量临时的ECS消耗(创建到释放)场景可能会触发。