记一次k8s服务504 timeout

线上服务做集群扩容,调整了节点机器配置,在升级完毕之后,发现某些时候请求较慢,或者直接504 timeout 超时,必现情况,点击几次都是,且并没有代表性。 1、检查istio 日志是否有504 的日志,并查看在哪台node 机器上,看下那台节点机器是否有问题。 2、kubectl get nodes 查看机器节点是否都正常工作。 3、外部代理了一层nginx,查看nginx 错误日志。         关键点,查看nginx 的进程是否都正常,我们的问题就是nginx 修改了配置,执行了reload 成功,但是进程一直处于is_shutting_down 并未成功杀死,所以某些请求还是打在了旧的节点机器上。 4、所有的都不行,就用重启大法,重启ngnix 重启机器、重新部署,都重做一遍。   学习分享: https://mp.weixin.qq.com/s/nEBMG8zdW1O-3XvygMSRVQ https://blog.csdn.net/lijiaocn/article/details/95673069
上一篇:Kubernetes Ingress诡异的502、503、504等奇葩问题(一)


下一篇:504-七进制数