CPU高使用率排查

Java程序在实际生产过程中经常遇到所在服务器CPU使用率高的问题,那么应该如何排查问题的原因呢,本文大概描述一下排查方法,作为一个排查手册。


1、使用top命令,在大写打开的情况下按P键或者在大写没有打开的情况下按 shift+P键,会按照CPU使用率的高低进行排序,查找使用率最高的进程获取进程pid。

2、使用命令top -H -p pid,此处pid就是上一步获取的进程pid,通过此命令可以查看实际占用CPU最高的的线程的id,此处即为tid

3、使用命令printf "%x\n" tid,将线程tid转换为16进制

4、使用命令jstack pid |grep tid -A 50,此处tid为上一步转换后的16进制,使用此命令可以查看到对应线程的线程栈信息,从而根据线程栈对应的代码进行分析。

5、如果无法查到有占用特别高的CPU的线程,那么需要进一步的查询,可以使用vmstat 2命令,每隔2秒输出一次信息,输出结果如下:

procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 2  0      0 1416708   2108 182420    0    0  3250   472  326 2837  5 13 82  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   49   96  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   51   96  0  1 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   53  101  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   49   94  0  0 100  0  0
 0  0      0 1416584   2108 182452    0    0     0     0   46   91  0  0 100  0  0
 1  0      0 1416584   2108 182452    0    0     0     0   44   90  0  1 100  0  0

vmstat命令能够报告有关进程、内存、分页、IO、磁盘和cpu活动等信息,是一个Linux系统问题排查的利器。以上输出的结果列含义如下:

  • r
    Running or Runnable,就绪队列的长度,也就是正在运行和等待 CPU 的进程数,当这个值大于CPU核数时,证明目前处于等待CPU的进程数较多,CPU已经处理不过来了。
  • b
    blocked, 处于不可中断睡眠状态的进程数。
  • swpd
    虚拟内存已使用的大小,这个值大于0代表已经使用了虚拟内存。
  • free
    空闲的物理内存的大小。
  • buff
    Linux系统buff的大小。
  • cache
    Linux系统cache的大小。
  • si
    表示每秒钟从磁盘读入虚拟内存的大小。
  • so
    表示每秒虚拟内存写入磁盘的大小。
  • bi
    每秒中写入块设备的块数量, Linux版本块的大小一般为1024bytes。
  • bo
    每秒钟从块设备读取的块的数量。
  • in
    interrupt,每秒中断的次数。
  • cs
    context switch,代表每秒钟上下文切换的次数,这是一个特别值得注意的内容,如果cs特别的高,将会耗费大量的CPU性能。
  • us
    用户进程执行消耗cpu时间,us的值比较高时,说明用户进程消耗的cpu时间多。
  • sy
    系统进程消耗cpu时间 ,sy的值过高时,说明系统内核消耗的cpu资源多,一般sy不宜太高,如果太高则我们应该检查具体原因。
  • id
    idle,CPU处于空闲的时间占比, 包括IO等待时间 ,id+sy+us=100%.
  • wa
    等待IO时间, wa过高时,说明io等待比较严重 。

其中需要特别注意r,in,cs,us,sy,id,wa这几个指标,如果发现cs的值比较大,证明系统发生了大量的上下文切换,此时sy的值一般也会比较大,系统实际用户进程消耗的CPU时间比较少,CPU使用率高是因为大量CPU时间消耗在了系统内核态。

6、如果cs很大,则需要进一步判断是由于哪个进程引起的大量上下文切换,可以使用pidstat -w 2命令(一般来说还可以使用pidstat -w -u 2输出更多CPU的指标),每两秒中输出一次进程的上下文情况,结果如下,其中cswch/s代表每秒自愿上下文切换(voluntary context switches)的次数, 另一个则是 nvcswch ,表示每秒非自愿上下文切换(non voluntary context switches)的次数。

  • 所谓自愿上下文切换,是指进程无法获取所需资源,导致的上下文切换。比如说, I/O、内存等系统资源不足时,就会发生自愿上下文切换 。
  • 非自愿上下文切换,是指进程由于时间片已到等原因,被系统强制调度,进而发生的上下文切换。比如说,大量进程都在争抢 CPU 时,就容易发生非自愿上下文切换 。
10:40:21 PM   UID       PID   cswch/s nvcswch/s  Command
10:40:23 PM     0         3      0.50      0.00  ksoftirqd/0
10:40:23 PM     0         9      2.01      0.00  rcu_sched
10:40:23 PM     0       314      1.01      0.00  kworker/u256:2
10:40:23 PM     0       428     20.10      0.00  xfsaild/dm-0
10:40:23 PM     0       429      0.50      0.00  kworker/0:1H
10:40:23 PM     0      1467      0.50      0.00  sshd
10:40:23 PM     0      1599      3.02      0.00  kworker/0:2
10:40:23 PM     0      1600      0.50      0.00  kworker/0:3
10:40:23 PM     0      1601      0.50      0.50  pidstat

以上只能看到进程的上下文切换,如果想看到线程的上下文切换,则可以使用pidstat -wt 2,输出详细的线程切换的数据,通过这种方法可以查看到线程切换频繁的线程id,然后通过将id转换为16进制,跟踪堆栈信息就可以找到对应的代码了。

7、如果发现in的值很大,则证明系统中断占比很高,系统中断运行在内核态,想要查看中断的情况,可以通过查看/proc/interrupts,使用命令watch -d cat /proc/interrupts,可以查看到 RES : Rescheduling interrupts(重调度中断)的变化, 这个中断类型表示,唤醒空闲状态的 CPU 来调度新的任务运行。如果这个值变化很大,代表大量的中断是因为唤醒CPU执行新的调度任务,那么这实际上也是因为存在过多的需要进行调度的任务,也可能是因为大量的线程上下文切换。

8、如果发现vmstat的输出结果wa比较大,可以进一步使用pidstat -w -d 2来输出IO的相关统计信息,-d表述输出IO信息,还可以使用iostat,例如iostat -d -k 2,-d表示显示磁盘使用状态,-k表示KB为单位,2表示每隔2秒输出一次,通过这些信息,可以协助判断IO的瓶颈。

Device:            tps    kB_read/s    kB_wrtn/s    kB_read    kB_wrtn
sda               0.51        17.28         3.01     150842      26248
scd0              0.00         0.12         0.00       1028          0
dm-0              0.46        13.55         2.77     118281      24179
dm-1              0.01         0.28         0.00       2460          0
上一篇:AI之旅(7):神经网络之反向传播


下一篇:【.NET Core项目实战-统一认证平台】第六章 网关篇-自定义客户端授权