1. 常用的一些系统性能排查linux命令

 

当系统存在短板时,就会对性能造成较大的负面影响,比如当 CPU 的负载特别高时,任务就会排队,不能及时执行。而其中,CPU、内存、I/O 这三个系统组件,又往往容易成为瓶颈,所以接下来我会对这三方面分别进行讲解。

一、CPU

首先介绍计算机中最重要的计算组件*处理器 CPU,围绕 CPU 一般我们可以:

  1. 通过 top 命令,来观测 CPU 的性能;

  2. 通过负载,评估 CPU 任务执行的排队情况;

  3. 通过 vmstat,看 CPU 的繁忙程度。

1.1 top命令--CPU性能

如下图,当进入 top 命令后,按 1 键即可看到每核 CPU 的运行指标和详细性能。

1. 常用的一些系统性能排查linux命令

CPU 的使用有多个维度的指标,下面分别说明

us 用户态所占用的 CPU 百分比,即引用程序所耗费的 CPU;
sy 内核态所占用的 CPU 百分比,需要配合 vmstat 命令,查看上下文切换是否频繁;
ni 高优先级应用所占用的 CPU 百分比;
wa 等待 I/O 设备所占用的 CPU 百分比,经常使用它来判断 I/O 问题,过高输入输出设备可能存在非常明显的瓶颈;
hi 硬中断所占用的 CPU 百分比;
si 软中断所占用的 CPU 百分比;
st 在平常的服务器上这个值很少发生变动,因为它测量的是宿主机对虚拟机的影响,即虚拟机等待宿主机 CPU 的时间占比,这在一些超卖的云服务器上,经常发生;
id 空闲 CPU 百分比。
一般地,我们比较关注空闲 CPU 的百分比,它可以从整体上体现 CPU 的利用情况。
那 load 为 1 代表的是啥?针对这个问题,误解还是比较多的。

1.2 负载 —— CPU 任务排队情况

如果我们评估 CPU 任务执行的排队情况,那么需要通过负载(load)来完成。除了 top 命令,使用 uptime 命令也能够查看负载情况,load 的效果是一样的,分别显示了最近 1min、5min、15min 的数值。

1. 常用的一些系统性能排查linux命令

  很多人看到 load 的值达到 1,就认为系统负载已经到了极限。这在单核的硬件上没有问题,但在多核硬件上,这种描述就不完全正确,它还与 CPU 的个数有关。例如: 单核的负载达到 1,总 load 的值约为 1; 双核的每核负载都达到 1,总 load 约为 2; 四核的每核负载都达到 1,总 load 约为 4。 所以,对于一个 load 到了 10,却是 16 核的机器,你的系统还远没有达到负载极限。

1.3 vmstat —— CPU 繁忙程度

要看 CPU 的繁忙程度,可以通过 vmstat 命令,下图是 vmstat 命令的一些输出信息。

1. 常用的一些系统性能排查linux命令

  比较关注的有下面几列: b 如果系统有负载问题,就可以看一下 b 列(Uninterruptible Sleep),它的意思是等待 I/O,可能是读盘或者写盘动作比较多; si/so 显示了交换分区的一些使用情况,交换分区对性能的影响比较大,需要格外关注; cs 每秒钟上下文切换(Context Switch)的数量,如果上下文切换过于频繁,就需要考虑是否是进程或者线程数开的过多。 每个进程上下文切换的具体数量,可以通过查看内存映射文件获取,如下代码所示(voluntary_ctxt_switchesh和nonvoluntary_ctxt_switches):

[www@m23p83 ~]$ cat /proc/1306/sta
stack   stat   statm   status  
[www@m23p83 ~]$ cat /proc/1306/status
Name: java
State: S (sleeping)
Tgid: 1306
Pid: 1306
PPid: 1
TracerPid: 0
Uid: 507 507 507 507
Gid: 507 507 507 507
Utrace: 0
FDSize: 256
Groups: 507
VmPeak: 5814736 kB
VmSize: 5812064 kB
VmLck:       0 kB
VmHWM: 1699552 kB
VmRSS: 1698872 kB
VmData: 5661480 kB
VmStk:      88 kB
VmExe:       4 kB
VmLib:   16464 kB
VmPTE:    3732 kB
VmSwap:       0 kB
Threads: 75
SigQ: 0/127436
SigPnd: 0000000000000000
ShdPnd: 0000000000000000
SigBlk: 0000000000000000
SigIgn: 0000000000000002
SigCgt: 2000000181005ccd
CapInh: 0000000000000000
CapPrm: 0000000000000000
CapEff: 0000000000000000
CapBnd: ffffffffffffffff
Cpus_allowed: f
Cpus_allowed_list: 0-3
Mems_allowed: 00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000001
Mems_allowed_list: 0
voluntary_ctxt_switches: 87
nonvoluntary_ctxt_switches: 4

二、内存

逻辑地址可以映射到两个内存段上:物理内存和虚拟内存,那么整个系统可用的内存就是两者之和。比如你的物理内存是 4GB,分配了 8GB 的 SWAP 分区,那么应用可用的总内存就是 12GB。

2.1 top命令

1. 常用的一些系统性能排查linux命令

VIRT(virtual memory usage) 这里是指虚拟内存,一般比较大,不用做过多关注;
RES(resident memory usage) 我们平常关注的是这一列的数值,它代表了进程实际占用的内存,平常在做监控时,主要监控的也是这个数值;
SHR(shared memory) 指的是共享内存,比如可以复用的一些 so 文件等。

top命令打开后,按f键如下所示,按Enter退出:

Current Fields:  AEHIOQTWKNMbcdfgjplrsuvyzX  for window 1:Def
Toggle fields via field letter, type any other key to return

* A: PID       = Process Id                                                                   0x00100000 PF_USEDFPU (thru 2.4)
* E: USER       = User Name
* H: PR         = Priority
* I: NI         = Nice value
* O: VIRT       = Virtual Image (kb)
* Q: RES       = Resident size (kb)
* T: SHR       = Shared Mem size (kb)
* W: S         = Process Status
* K: %CPU       = CPU usage
* N: %MEM       = Memory usage (RES)
* M: TIME+     = CPU Time, hundredths
b: PPID       = Parent Process Pid
c: RUSER     = Real user name
d: UID       = User Id
f: GROUP     = Group Name
g: TTY       = Controlling Tty
j: P         = Last used cpu (SMP)
p: SWAP       = Swapped size (kb)
l: TIME       = CPU Time
r: CODE       = Code size (kb)
s: DATA       = Data+Stack size (kb)
u: nFLT       = Page Fault count
v: nDRT       = Dirty Pages count
y: WCHAN     = Sleeping in Function
z: Flags     = Task Flags <sched.h>
* X: COMMAND   = Command name/line

Flags field:
0x00000001 PF_ALIGNWARN
0x00000002 PF_STARTING
0x00000004 PF_EXITING
0x00000040 PF_FORKNOEXEC
0x00000100 PF_SUPERPRIV
0x00000200 PF_DUMPCORE
0x00000400 PF_SIGNALED
0x00000800 PF_MEMALLOC
0x00002000 PF_FREE_PAGES (2.5)
0x00008000 debug flag (2.5)
0x00024000 special threads (2.5)
0x001D0000 special states (2.5)

默认情况下仅显示比较重要的 PID、USER、PR、NI、VIRT、RES、SHR、S、%CPU、%MEM、TIME+、COMMAND 列。可以通过下面的快捷键来更改显示内容。

  1. 通过 f 键可以选择显示的内容。按 f 键之后会显示列的列表,按 a-z 即可显示或隐藏对应的列,最后按回车键确定。

  2. 按 o 键可以改变列的显示顺序。按小写的 a-z 可以将相应的列向右移动,而大写的 A-Z 可以将相应的列向左移动。最后按回车键确定。

  3. 按大写的 F 或 O 键,然后按 a-z 可以将进程按照相应的列进行排序。而大写的 R 键可以将当前的排序倒转。

top 运行中可以通过 top 的内部命令对进程的显示方式进行控制。内部命令如下: s – 改变画面更新频率 l – 关闭或开启第一部分第一行 top 信息的表示 t – 关闭或开启第一部分第二行 Tasks 和第三行 Cpus 信息的表示 m – 关闭或开启第一部分第四行 Mem 和 第五行 Swap 信息的表示 N – 以 PID 的大小的顺序排列表示进程列表 P – 以 CPU 占用率大小的顺序排列进程列表 M – 以内存占用率大小的顺序排列进程列表 h – 显示帮助 n – 设置在进程列表所显示进程的数量 q – 退出 top s – 改变画面更新周期

三、IO

I/O 设备可能是计算机里速度最慢的组件了,它指的不仅仅是硬盘,还包括外围的所有设备。那硬盘有多慢呢?我们不去探究不同设备的实现细节,直接看它的写入速度(数据未经过严格测试,来自网络,仅作参考,在此只为了说明问题)。

1. 常用的一些系统性能排查linux命令

  如上图所示,可以看到普通磁盘的随机写与顺序写相差非常大,但顺序写与 CPU 内存依旧不在一个数量级上。

缓冲区依然是解决速度差异的唯一工具,但在极端情况下,比如断电时,就产生了太多的不确定性,这时这些缓冲区,都容易丢。

3.1 iostat

最能体现 I/O 繁忙程度的,就是 top 命令和 vmstat 命令中的 wa%。如果你的应用写了大量的日志,I/O wait 就可能非常高。

1. 常用的一些系统性能排查linux命令

 

 1. 常用的一些系统性能排查linux命令

  1. 常用的一些系统性能排查linux命令

  查看磁盘 I/O 的工具(iostat), 如下所示:

1. 常用的一些系统性能排查linux命令

  图中的指标详细介绍如下所示。 %util:我们非常关注这个数值,通常情况下,这个数字超过 80%,就证明 I/O 的负荷已经非常严重了。 Device:表示是哪块硬盘,如果你有多块磁盘,则会显示多行。 avgqu-sz:平均请求队列的长度,这和十字路口排队的汽车也非常类似。显然,这个值越小越好。 awai:响应时间包含了队列时间服务时间,它有一个经验值。通常情况下应该是小于 5ms 的,如果这个值超过了 10ms,则证明等待的时间过长了。 svctm:表示操作 I/O 的平均服务时间,这里就是 AVG 的意思。svctm 和 await 是强相关的,如果它们比较接近,则表示 I/O 几乎没有等待,设备的性能很好;但如果 await 比 svctm 的值高出很多,则证明 I/O 的队列等待时间太长,进而系统上运行的应用程序将变慢。

3.2 零拷贝

硬盘上的数据,在发往网络之前,需要经过多次缓冲区的拷贝,以及用户空间和内核空间的多次切换。如果能减少一些拷贝的过程,效率就能提升,所以零拷贝应运而生。 ​ 零拷贝是一种非常重要的性能优化手段,比如常见的 Kafka、Nginx 等,就使用了这种技术。我们来看一下有无零拷贝之间的区别。 (1)没有采取零拷贝手段 ​ 如下图所示,传统方式中要想将一个文件的内容通过 Socket 发送出去,则需要经过以下步骤: ​ 将文件内容拷贝到内核空间; ​ 将内核空间内存的内容,拷贝到用户空间内存,比如 Java 应用读取 zip 文件; ​ 用户空间将内容写入到内核空间的缓存中; ​ Socket 读取内核缓存中的内容,发送出去。

1. 常用的一些系统性能排查linux命令

  (2)采取了零拷贝手段 零拷贝有多种模式,我们用 sendfile 来举例。如下图所示,在内核的支持下,零拷贝少了一个步骤,那就 是内核缓存向用户空间的拷贝,这样既节省了内存,也节省了 CPU 的调度时间,让效率更高。

1. 常用的一些系统性能排查linux命令

 

 

上一篇:【C语言】整型在内存中的存储


下一篇:运算符