记一次k8s服务504 timeout
线上服务做集群扩容,调整了节点机器配置,在升级完毕之后,发现某些时候请求较慢,或者直接504 timeout 超时,必现情况,点击几次都是,且并没有代表性。
1、检查istio 日志是否有504 的日志,并查看在哪台node 机器上,看下那台节点机器是否有问题。
2、kubectl get nodes 查看机器节点是否都正常工作。
3、外部代理了一层nginx,查看nginx 错误日志。
关键点,查看nginx 的进程是否都正常,我们的问题就是nginx 修改了配置,执行了reload 成功,但是进程一直处于is_shutting_down 并未成功杀死,所以某些请求还是打在了旧的节点机器上。
4、所有的都不行,就用重启大法,重启ngnix 重启机器、重新部署,都重做一遍。
学习分享:
https://mp.weixin.qq.com/s/nEBMG8zdW1O-3XvygMSRVQ
https://blog.csdn.net/lijiaocn/article/details/95673069