前言：为了更好配置分布式储存集群的运行参数，使用性能分析工具观察业务环境是一种必要的手段
op 或者 uptime
02:34:03 //当前时间 up 2 days, 20:14 //系统运行时间 1 user //正在登录用户数 load average: 0.63, 0.83, 0.88 依次则是过去 1 分钟、5 分钟、15 分钟的平均负载（Load Average）
平均负载是指单位时间内，系统处于可运行状态和不可中断状态的平均进程数，也就是平均活跃进程数，它和 CPU 使用率并没有直接关系，所以，它不仅包括了正在使用 CPU 的进程，还包括等待 CPU 和等待 I/O 的进程。
可运行状态
可运行状态的进程，是指正在使用 CPU 或者正在等待 CPU 的进程，也就是我们常用 ps 命令看到的，处于 R 状态（Running 或 Runnable）的进程
可中断的睡眠状态的进程会睡眠直到某个条件变为真，如产生一个硬件中断、释放进程正在等待的系统资源或是传递一个信号都可以是唤醒进程的条件。
不可中断状态
不可中断状态的进程则是正处于内核态关键流程中的进程，并且这些流程是不可打断的
那就是把信号传递到这种睡眠状态的进程不能改变它的状态，也就是说它不响应信号的唤醒。
比如，当一个进程向磁盘读写数据时，为了保证数据的一致性，在得到磁盘回复前，它是不能被其他进程或者中断打断的，这个时候的进程就处于不可中断状态。如果此时的进程被打断了，就容易出现磁盘数据与进程数据不一致的问题。所以，不可中断状态实际上是系统对进程和硬件设备的一种保护机制。
既然平均的是活跃进程数，那么最理想的，就是每个 CPU 上都刚好运行着一个进程，这样每个 CPU 都得到了充分利用。
比如当平均负载为 2 时，意味着什么呢？
1.在只有 2 个 CPU 的系统上，意味着所有的 CPU 都刚好被完全占用。
2.在 4 个 CPU 的系统上，意味着 CPU 有 50% 的空闲。
3.而在只有 1 个 CPU 的系统中，则意味着有一半的进程竞争不到 CPU。 ====》 （平均负载比cpu个数大，过载 ）
所以 平均负载最理想的情况是等于 CPU 个数
grep 'model name' /proc/cpuinfo | wc -l //可查看cpu数目 12 //12核
如何观察数值
//假设单核情况 root@xxxx:~# uptime 09:28:31 up 1 day, 10:31, 2 users, load average: 1.96, 1.29, 1.59
假设是单核情况下， 1分钟下来有96%超载，5分钟下来有29%超载，15分钟下来有59%超载
1.当三者相差不大，说明系统的平均负载稳定。
2.当前1分钟比后两者小的时候，说明系统趋于降低
3.如果1分钟的值远大于 15 分钟的值，就说明最近 1 分钟的负载在增加
经验值之谈，一旦平均负载达到CPU数量的前后 75%左右，需要排查负载高的问题。
平均负载与 CPU 使用率区别
CPU 使用率，是单位时间内 CPU 繁忙情况的统计，跟平均负载并不一定完全对应
CPU使用率：单位时间内cpu繁忙情况的统计
情况1：CPU密集型进程，CPU使用率和平均负载基本一致
情况2：IO密集型进程，平均负载升高，CPU使用率不一定升高
情况3：大量等待CPU的进程调度，平均负载升高，CPU使用率也升高
场景模拟
借用iostat mpstat pidstat可以分析出平均负载升高的原因。
模拟一下使用场景
root@xxxx:~# apt install sysstat //常用的 Linux 性能工具，用来监控和分析系统的性能,包含两个命令 mpstat 和 pidsta root@xxxx:~# apt install stress //一个 Linux 系统压力测试工具
前提环境：
机器配置：4 CPU，8GB 内存。
root@xxxx:~# uptime 11:36:37 up 13 days, 29 min, 3 users, load average: 0.06, 0.06, 0.01
CPU 的用户层（%usr）使用率；
CPU 的系统层（%sys）使用率；
CPU 的 I/0 - 等待（%iowait）；
CPU 的空闲率（%idle);
首先，我们在第一个终端运行 stress 命令，模拟一个 CPU 使用率 100% 的CPU 密集型进程场景:
//一终端执行 root@xxxx:~# stress --cpu 4 --timeout 555 stress: info: [4563] dispatching hogs: 4 cpu, 0 io, 0 vm, 0 hdd //另一终端 root@xxxx:~# watch -d uptime Every 2.0s: uptime xxxx: Tue Dec 22 11:43:36 2020 11:43:36 up 13 days, 36 min, 3 users, load average: 4.13, 1.28, 0.46 // 另一终端2 //-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据 root@xxxx:~# mpstat -P ALL 5 11:45:26 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:45:31 AM all 99.65 0.00 0.25 0.00 0.00 0.10 0.00 0.00 0.00 0.00 11:45:31 AM 0 99.40 0.00 0.40 0.00 0.00 0.20 0.00 0.00 0.00 0.00 11:45:31 AM 1 99.60 0.00 0.40 0.00 0.00 0.00 0.00 0.00 0.00 0.00 11:45:31 AM 2 99.80 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 0.00 11:45:31 AM 3 99.80 0.00 0.00 0.00 0.00 0.20 0.00 0.00 0.00 0.00 //从这里可以明显看到，stress 进程的 CPU 使用率接近 100%。 root@xxxx:~# pidstat -u 5 1 Linux 4.15.0-66-generic (xxxx) 12/22/2020 _x86_64_ (4 CPU) 11:48:58 AM UID PID %usr %system %guest %wait %CPU CPU Command 11:49:03 AM 0 2049 0.00 0.20 0.00 0.00 0.20 2 kworker/2:0 11:49:03 AM 64045 3358 0.60 0.20 0.00 0.00 0.80 3 ceph-mon 11:49:03 AM 0 4564 98.41 0.20 0.00 1.39 98.61 0 stress 11:49:03 AM 0 4565 98.81 0.00 0.00 0.99 98.81 1 stress 11:49:03 AM 0 4566 98.21 0.00 0.00 1.39 98.21 0 stress 11:49:03 AM 0 4567 99.20 0.00 0.00 0.60 99.20 2 stress 11:49:03 AM 0 5131 0.20 0.20 0.00 0.40 0.40 0 watch 11:49:03 AM 0 7419 0.20 0.40 0.00 0.00 0.60 3 pidstat 11:49:03 AM 0 26649 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1 11:49:03 AM 0 26658 0.20 0.20 0.00 0.20 0.40 1 sshd 11:49:03 AM 64045 30555 0.60 0.00 0.00 0.00 0.60 1 ceph-osd //
可以从 load average: 4.13 以及 mpstat 的usr 看得出负载场景基本符合CPU 密集型进程 ，pidstat可以看得出是 stress 导致占用率过高。
然后模拟一个I/O 密集型进程
//一终端执行 //root@xxxx:~# stress -i 1 --timeout 600 // 因为 stress 使用的sync系统调用，刷新缓冲区到磁盘。有可能因缓冲区数据量小无法看到io_wait明显变化 root@xxxx:~# stress-ng -i 1 --hdd 1 --timeout 555 stress-ng: info: [9211] dispatching hogs: 1 io, 1 hdd //另一终端 root@xxxx:~# watch -d uptime 16:46:09 up 13 days, 5:38, 3 users, load average: 2.91, 2.56, 1.10 // 另一终端2 //-P ALL 表示监控所有CPU，后面数字5表示间隔5秒后输出一组数据 root@xxxx:~# mpstat -P ALL 5 Linux 4.15.0-66-generic (ECSab169d) 12/22/2020 _x86_64_ (4 CPU) 04:44:02 PM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 04:44:07 PM all 1.35 0.00 29.50 26.74 0.00 0.21 0.52 0.00 0.00 41.68 04:44:07 PM 0 2.05 0.00 30.12 26.23 0.00 0.20 0.61 0.00 0.00 40.78 04:44:07 PM 1 0.40 0.00 30.51 51.72 0.00 0.00 0.81 0.00 0.00 16.57 04:44:07 PM 2 0.84 0.00 19.29 19.08 0.00 0.00 0.42 0.00 0.00 60.38 04:44:07 PM 3 1.96 0.00 38.26 8.48 0.00 0.65 0.22 0.00 0.00 50.43 root@xxxx:~# pidstat -u 5 1 04:43:15 PM UID PID %usr %system %guest %wait %CPU CPU Command 04:43:20 PM 0 388 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1H 04:43:20 PM 0 11841 0.00 2.00 0.00 0.00 2.00 1 kworker/1:2 04:43:20 PM 0 12449 0.00 5.40 0.00 0.40 5.40 1 stress-ng-io 04:43:20 PM 0 12450 2.60 60.20 0.00 0.80 62.80 0 stress-ng-hdd 04:43:20 PM 0 22527 0.20 0.20 0.00 0.00 0.40 1 sshd 04:43:20 PM 64045 30555 0.20 0.40 0.00 0.00 0.60 1 ceph-osd
模拟一个大量进程场景
//一终端执行 root@xxxx:~# stress -c 8 --timeout 555 17:00:26 up 13 days, 5:53, 3 users, load average: 7.90, 4.95, 3.04 //另一终端 root@xxxx:~# watch -d uptime 17:00:49 up 13 days, 5:53, 3 users, load average: 7.94, 5.20, 3.17 root@xxxx:~# pidstat -u 5 1 04:43:15 PM UID PID %usr %system %guest %wait %CPU CPU Command 04:43:20 PM 0 388 0.00 0.20 0.00 0.00 0.20 0 kworker/0:1H 04:43:20 PM 0 11841 0.00 2.00 0.00 0.00 2.00 1 kworker/1:2 04:43:20 PM 0 12449 0.00 5.40 0.00 0.40 5.40 1 stress-ng-io 04:43:20 PM 0 12450 2.60 60.20 0.00 0.80 62.80 0 stress-ng-hdd 04:43:20 PM 0 22527 0.20 0.20 0.00 0.00 0.40 1 sshd 04:43:20 PM 64045 30555 0.20 0.40 0.00 0.00 0.60 1 ceph-osd 05:01:33 PM UID PID %usr %system %guest %wait %CPU CPU Command 05:01:38 PM 64045 3358 0.40 0.20 0.00 0.00 0.60 3 ceph-mon 05:01:38 PM 0 5131 0.60 0.20 0.00 0.60 0.80 1 watch 05:01:38 PM 0 9303 0.00 0.20 0.00 0.00 0.20 2 kworker/u8:3 05:01:38 PM 0 13169 0.00 0.20 0.00 0.00 0.20 0 kworker/0:2 05:01:38 PM 0 18138 48.91 0.00 0.00 51.09 48.91 1 stress 05:01:38 PM 0 18139 49.11 0.00 0.00 50.70 49.11 2 stress 05:01:38 PM 0 18140 48.71 0.00 0.00 50.89 48.71 0 stress 05:01:38 PM 0 18141 50.10 0.00 0.00 49.50 50.10 3 stress 05:01:38 PM 0 18142 47.91 0.00 0.00 51.89 47.91 3 stress 05:01:38 PM 0 18143 49.11 0.00 0.00 51.09 49.11 1 stress 05:01:38 PM 0 18144 52.29 0.00 0.00 47.71 52.29 0 stress 05:01:38 PM 0 18145 49.30 0.00 0.00 50.70 49.30 2 stress 05:01:38 PM 0 20608 0.00 0.20 0.00 0.20 0.20 0 pidstat 05:01:38 PM 0 22527 0.00 0.20 0.00 0.00 0.20 2 sshd 05:01:38 PM 64045 30555 0.40 0.00 0.00 0.00 0.40 1 ceph-osd
总结
1.CPU密集型进程: 查看 mpstat 是否存在某个CPU %usr 很高但是iowait 很低 ， pidstat 定位具体进程（瓶颈不在io）
2.IO密集型进程： mpstat 观察是否有某个cpu的%iowait很高，同时%usr也较高， pidstat 定位具体进程
3.大量进程 ： 观察 mpstat 有可能iowait 很低， 但是从 pidstat 看出%wait很高，侧面表现出进程出现竞争cpu
用到命令
lscpu、 grep ‘model name’ /proc/cpuinfo | wc -l ： cpu核数
watch -d uptime ： 持续观察平均负载
pidstat -u 5 1 ： 监测进程对应负载状态，进程性能分析工具
mpstat -P ALL 5 ： cpu总体状态 多核cpu性能分析工具，-P ALL监视所有cpu
strees : -c 产生多个worker进程；—cpu-method 使用哪种算法来运行压力测试，包括pi, crc16, fft等等，all选择全部；—sock 调用socket相关函数产生压力; -t, —timeout 等待xx微秒后才开始运行；-i, —io N spawn N workers spinning on sync()