现象:
1.全国用户电视端页面无法显示,刷不出版面。
2.后端服务无法打开,报错,504,502 显示服务器端业务故障超时。
3.其他业务也出现缓慢情况,并不严重。
排查:
1.系统服务排查,常规负载检查,apache配置,本地curl测试,查看apache进程状态被挂起,发现系统本地访问80端口不通,重启服务无效~
2.mysql 数据库未见明显报错异常,刷页面到504页面 应该还没到bd访问,排除数据库问题
3.从多个客户traceroute我们域名来检测下网络,结果都不通.. 怀疑网络? 应该不可能 因为网络如果出问题肯定不止我们一个业务出问题。。排除排除。。
4.缩小了范围,那apache为什么一直被挂起,响应超时呢? 发现访问本地的静态文件都无法访问,apache已经完全挂掉了。。
问题发现:
通过大神协助排查,发现程序里面有一个函数一直调用我们新系统业务的一个接口(就是刚刚其他业务也缓慢的原因),因为调用函数里面的curl没有写超时时间,
还有新业务的有两台服务器的SLB超时时间太长了 300s,导致的问题出现。
解决办法:
给curl添加超时时间,将SLB里面的超时时间更改为60s。