CPU调优总结


原因:应用启动后,在未做调用时cpu占用20%-30%

这肯定是有问题的,严重影响压测质量和存在线上风险,所以开始排查。

下面将详细写出排查和分析过程。


1,确认问题

登录 三台服务器,top (或者vmstat 1)一下,查看cpu占用情况:

CPU调优总结

三台机器都很高,而且还未有调用量, 有问题。

登录IMSI销售接口服务器对比查看:

CPU调优总结

可以确定应用不正常了。开始解决。


2,解决过程

  • 因为是cpu高,内存不高,所以确定是线程问题,所以去到问题服务器抓取线程

    ./jstack  xx >> /home/admin/jstack.log    (xx 是应用的进程号)
    将线程日志搞到跳板机 再搞到本地分析。

    线程分析工具用的是 jca,打开查看:
    CPU调优总结

    而正常的应用:
    CPU调优总结

    问题应用runnable 线程竟然有900多,waite线程不会占用cpu资源,暂时不用分析。点击详细:

    CPU调优总结

      

          发现大量的NettyClientSelector, 嗯? 这应该是hsf的线程吧!(这里分析是错的!!!) 然而忽略了最重要的MQ-AsyncArrayDispatcher-Thread-XX,这个后面会详细写。

          然后后面做了一些对hsf的配置优化,进入edas的后台可以查看到有大量的无用的consumer,这对edas的压力是非常大的,随着以后服务越来越多,配置越来越多,会对线上存在隐患,于是进行精简,抽取本地的 consumer配置文件。

           再次上线, 分析。。 发现问题依旧, 崩溃。  从头再来。 

  • 还是找到问题进程

    我们看看这个进程里的哪些线程在占用cpu:
    top -p 进程id -H

    CPU调优总结 (这个图是解决问题后截取的,没解决时,cpu占比每个都在0.6-1左右,是非常高的)

    红框里是线程id,是10进制的,jstack.log 里是以16进制展示的,所以需要转换,到文件里找到对应的线程号。

          CPU调优总结

发现查了好多都是 AsyncArrayDispatcher$AsyncRunnable.run 这个方法。

继续分析这个东西是干嘛的,找代码。

CPU调优总结

发现这是一个守护线程,应该是为每个新创建的topic 提供一些系统的记录功能。

瓶颈期到了,想找找哪里应用到了这个类,可是都在阿里的jar里,找起来很费劲,而且不确定在哪,有可能还会在潘多拉里,找了很久的class源码,无果,这里耽误了很久的时间。

后来转换方向,因为imsi_sale是正常的,所以确定不会是底层的BUG导致的,还是把目标转向应用本身的配置,而且跟MQ相关的。

查看mq相关的配置,惊奇的发现,竟然这么多无用配置。

CPU调优总结 。。。

将近 100多,期间我们找了天源的人给看了topic的默认线程数是5个,这么算来也得启了几百的无用线程,跟问题线程数也很接近。

到底是不是呢? 又找了代码,发现在 base_impl包里真的有:

CPU调优总结 

不得不说隐藏的很深,有点坑。 这些东西应该是放在配置文件里,我们能看见的地方的。

好吧,终于确定问题了,精简配置文件,上线, 解决!


注: 其他应用也存在这样的问题, 都需要修复一下。

上一篇:[新手参考指南]阿里云服务器ecs实例选择(地域+CPU+操作系统+带宽)


下一篇:如何导入本地镜像到阿里云ECS服务器