概述
攻城狮经常会遇到系统告警、网页打不开、用户投诉、数据错误等问题,如何快速诊断是解决问题的关键,当有些问题用自己习惯的三板斧不能立即定位时,静下心来试试本文提到的望闻问切的思路。
诊断问题就像看病一样,应该多方面多角度观察,开阔思路,准确把握,避免误诊,遇到问题不急不躁,可借鉴中医的“望闻问切”思路。
《古今医统》:“望闻问切四字,诚为医之纲领。”望闻问切是中医用语,就是指望诊,闻诊,问诊和切脉四种诊法。
本文重在介绍问题思路,顺便列了最常用的Linux诊断命令,适合研发、测试、运维人员。
望
中医望诊即对病人的神、色、形、态、舌象等外象进行观察,以测知内脏病变。
可理解为远望,部分系统比较复杂,跟其他系统有很多接口,这类系统有了问题,不要一开始就扎入各自的系统深查,先要站在远处“望”:
1,问题发生在自己的系统还是第三方?
这常可通过外部接口告警、第三方邮件或电话等发现。
2,问题发生时是否有较大的网络波动或已知的硬件故障?
遇到这类故障,运维一般都会收到相关通知。
3,问题发生在内部哪个系统?
内部也有多个系统多个服务,这些内部系统中,最近升级了哪些?哪部分的系统有告警、出错日志?
即要划清系统边界,了解周边的系统情况。
|
远望不需花什么时间,重要的是广泛收集信息,出问题时方便立即综合信息作出判断。如果已确定是某个系统或模块出的问题,则可省略“望”这个诊断步骤。
日常工作要未雨绸缪,有收集第三方、外部接口、其他故障信息的渠道,供望诊参考。
闻
闻诊,包括听声音和嗅气味,主要是听患者语言气息的高低、强弱、清浊、缓急……等变化,以分辨病情的虚实寒热。
监控系统根据严重级别显示不同颜色,有的还配有不同告警声音;日志则带有ERR、INFO等级别,就像患者的气息一样有缓急、高低。
请看如何“闻诊”系统问题:
1,监控
日常工作要做好各个系统的监控方便查询;
2,统计
各个系统要有统计数据方便各方查询;
3,日志
系统之间的接口调用有日志;
4,通知
有版本升级周知相关人。
|
闻诊适合各个系统的具体负责人等。
问
问诊,是通过询问患者或其陪诊者,以了解病情,有关疾病发生的时间、原因、经过、既往病史、患者的病痛所在,以及生活习惯、饮食爱好等与疾病有关的情况。
通过前面的望和闻,咱们会产生一些疑问,再通过相关几个人讨论、对比求证,寻找出现问题的特征条件,逐步缩小范围,理清思路,包括:
一起讨论头脑风暴;
一对一交流确认疑点;
问发生问题的条件、操作顺序等。
|
切
切脉,包括脉诊和按诊两部分,是医者运用指端之触觉,在病者的一定部位进行触、摸、按、压,以了解病情的方法。
切脉就是纯技术活了,如何让自己跟老中医一样能切脉呢?
其实现在工具发达,对于linux上的程序系统来说,常用以下工具就可诊断大部分问题:
1,诊运行历史
sar
看最近一天的运行历史信息,包含iowait
sar -f /var/log/sa/sa日期
看本月某一天的运行历史信息
2,诊整体资源
top
看当前负载、cpu、内存、进程、用户数等
ps aux | sort -nk3
查看CPU占用率最大的进程,显示在最下面一行
ps aux | sort -nk4
查看内存占用率最大的进程,显示在最下面一行
3,诊磁盘
iostat -x -k 2
这个命令每隔2秒输出一次磁盘io统计信息,这是看数据存储方案最常用命令。
df -kh
看磁盘空间,磁盘满了?你应该自己立即发现哦
#/sbin/hdparm -t /dev/sda
评估磁盘的读取性能。hdparm可检测、显示与设定IDE或SCSI硬盘的参数。
4,诊网络连接
netstat -nap
这个命令输出当前所有连接,包括连接所属的进程
ping host或ip
诊断网络是否可达和域名解析是否成功。
/sbin/ethtool ethX
(ethX表示网卡名如eth0)
检查网卡和网络速度“Speed”,100Mb和1000Mb的带宽差别可大了。
有时要确信两台机器之间的实际带宽,
a,可用scp传一个大文件看看,不过scp传送会受ssh协议的影响,会偏慢一些。
b,用http协议会更真实,在nginx的htdocs目录下放个大文件,到另一台机器用wget下载。
sar -n DEV 5 500
诊断网络流量,是否遭到攻击?看网卡读写数据量rxbyt/s和txbyt/s,单位字节。
5,诊文件句柄
查看所有进程的文件打开数是否接近系统限制
<strong> /usr/sbin/lsof |wc -l </strong>
查看某个进程打开的文件是否异常,包括wc -l查看数目
/usr/sbin/lsof -p pid
|
6,诊系统限制
ulimit -a
看是否可生成core文件、可打开文件句柄数"open files",经常需要修改系统限制。
7, 诊程序系统调用
strace -p pid
看程序进程的系统调用函数和返回值,在“显微镜”下看这程序在偷偷干吗?
多线程程序可尝试看pid+1,pid+2后面一般依次是进程创建的多条线程
strace -p pid -c
看某个进程id的系统调用函数次数统计,按ctrl + c退出并输出统计信息
8,诊通信包
常用命令:
#/usr/sbin/tcpdump -X -s 0 tcp port 8030 -i lo
#/usr/sbintcpdump -n -x -s 0 tcp port 23000 or 23002 or 23003 or 22122 >dump
#/usr/sbin/tcpdump -n -x -s 0 tcp port 7820 and host 192.156.30.100
用root可以在linux上用tcpdump抓包,tcp和udp包都可以抓。
常用选项:
-X 以可读方式显示数据包,适合http、memcached asccii等明文传输的协议
-x 输出16进制的包内容,Print each packet (minus its link level header) in hex
-A ascii码显示
-i lo 看本机localhost的通信包
-n 不要域名解析,Don’t convert host addresses to names. This can be used to avoid DNS lookups.
-s 设置抓完整的包,Snarf snaplen bytes of data from each packet rather than the default of 68...
Setting snaplen to 0 means use the required length to catch whole packets.
9,诊程序配置文件或启动参数
以上几个命令一看基本知道系统内脏情况,必要时查看具体程序的配置或启动参数,
查看是否连接数、磁盘数、内存数、进程线程数配置不合理。
10,诊日志
看具体程序运行日志、统计日志、耗时日志
vi /etc/syslog.conf
查看linux系统log在哪个目录
# vi /var/log/messages
查看最近系统运行日志,包括机器重启前后的日志、用户登录日志
dmesg
查看linux启动日志
dmesg|grep sda
查看启动日志中有关sda这个磁盘分区参数.
11,gdb core文件
如果已生成coredump文件,则gdb program core.***
有时也可以强制coredump:kill -s SIGSEGV pid
|
总之,遇到不能立即定位问题时,在那些时间以分秒计算的时候,想想“望闻问切”从远到近、从外到内、多角度地诊断思路。