Sysrq 诊断系统故障 与 gdb 调试core dump

1. 典型应用场景如:
    1)系统进入了挂死状态(如调度出现异常、或系统负荷过重),但仍能响应中断,此时可以通过Sysrq魔术键(c)手工触发panic,结合kdump,就能收集到vmcore信息,用于问题的后续分析定位,非常有用。
    2)当系统中某进程出现挂死(可能是D状态,或是死锁),此时需要确认该进程具体挂在什么地方,可以使用Sysrq魔术键(t)打印出系统中所有进程的堆栈信息。
    3)当系统出现反应迟钝、交互困难时,难以通过shell或终端交互获取到有用信息,此时可以使用Sysrq魔术键(m,p)打印出系统中内存使用的详细信息和CPU运行上下文信息等。

Linux进程状态:R (TASK_RUNNING),可执行状态。
只有在该状态的进程才可能在CPU上运行, 而同一时刻可能有多个进程处于可执行状, 这些进程的task_struct结构(进程控制块)被放入对 应CPU的可执行队列中(一个进程最多只能出现在一个CPU的可执行队列中). Linux进程状态:S (TASK_INTERRUPTIBLE),可中断的睡眠状态。
处于这个状态的进程因为等待某某事件的发生(比如等待socket连接、等待信号量),而被挂起。这些进程的task_struct结构被放入对应事件的等待队列中. Linux进程状态:D (TASK_UNINTERRUPTIBLE),不可中断的睡眠状态。
与TASK_INTERRUPTIBLE状态类似,进程处于睡眠状态,但是此刻进程是不可中断的。 Linux进程状态:T (TASK_STOPPED or TASK_TRACED),暂停状态或跟踪状态。
向进程发送一个SIGSTOP信号,它就会因响应该信号而进入TASK_STOPPED状态(除非该进程本身处于 TASK_UNINTERRUPTIBLE状态而不响应信号)。 Linux进程状态:Z (TASK_DEAD - EXIT_ZOMBIE),退出状态,进程成为僵尸进程。
进程在退出的过程中,处于TASK_DEAD状态。 Linux进程状态:X (TASK_DEAD - EXIT_DEAD),退出状态,进程即将被销毁。
而进程在退出过程中也可能不会保留它的task_struct。

2、使用
1)编译
    在Kernel hacking中,选中Magic SysRq key (CONFIG_MAGIC_SYSRQ) 。

启用 SysRq

内核的支持

要启用 SysRq 功能,首先必须确保内核已经加入 CONFIG_MAGIC_SYSRQ 支持。在现今 Linux 发行版中,无一例外的均已加入该功能的支持,验证如下:

# grep "CONFIG_MAGIC_SYSRQ" /boot/config-`uname -r`
CONFIG_MAGIC_SYSRQ=y 2)使用方法
    通常有两种方式:a、通过/proc接口; b、通过键盘输入组合键。  
    通过/proc接口的使用方法为:echo ‘command’ > /proc/sysrq-trigger
    其中command是一个字符,可以是’1 – 9’或者’a-z’或者’A-Z’,字母不区分大小写。
    常用的命令有:
0-9 设置printk的打印级别。和/proc/sys/kernel/printk的第一个参数意思相同
b 立即重启单板,不进行磁盘同步等操作;调用内核的函数为emergency_restart
c 进行kexec reboot,需要KEXC支持。调用内核的函数为crash_kexec
d 显示此有的锁,需要配置CONFIG_LOCKDEP,调用函数为debug_show_all_locks。
e 向所有进程(init除外)发送SIGTERM信号,发送信号调用force_sig函数
f 进入out-of-memory流程,杀死一个进程,调用out_of_memory函数
i 向所有进程(init除外)发送SIGKILL信号
m 显示当前内存信息,调用内核show_mem函数
P 显示当前寄存器的值
q 显示当前的timer,调用timer_list_show
s 同步当前所有的文件系统,调用emergency_sync函数
t 显示当前系统上所有的进程信息,调用函数为show_state
u 重新mount所有文件系统,调用函数为emergency_remount
w 显示系统中所有处于uninterruptable状态的进程,调用函数为show_state
通过键盘组合键输入的规则是:
串口:按住break键,然后5秒内输入command字符
键盘:alt + sysrq +command键
详细使用规则可以参考linux内核文档:Documentation/sysrq.txt。

  

3、基本原理
Sysrq实现的基本原理为:在键盘或串口驱动中(如果是/proc接口方式,则直接定义/proc的相关写入接口即可),对按键进行判断过滤,然后根据不同的按键进行相应的处理。普通键盘和串口的流程不尽相同,主要差别在键盘和串口驱动的具体实现上,总体流程一致。
对于普通键盘来说 ,其底层的处理(从硬件中断到键盘驱动)过程依赖于内核中的输入(input)子系统。键盘处理的大致流程如下:
1)键盘中断调用中断服务程序
2)键盘中断服务程序调用输入子系统
3)输入子系统调用键盘设备对应的键盘事件处理器
4)键盘事件处理器完成键码的转换分类工作,根据按键类型的不同,执行不同的操作。对于输入类按键,先将按键值存放到临时缓冲区,激活临时缓冲区的工作队列,然后结束。对于控制类按键,激活对应此次控制操作的工作队列,然后结束。
5)系统在适当的时机调度工作队列执行,完成剩下的操作
而Sysrq魔术键的处理比较特殊,在内核主分支的代码中,在上述步骤4中的键盘事件处理器中进行相应的处理,不依赖于工作队列,相当于直接在硬件中断中处理。而在3.10内核版本的分支代码中,处理流程不太一样,其合入了相应的补丁,使sysrq的处理剥离出来,放在input子系统进行处理,而脱离了键盘事件的处理流程,其还是在中断上下文中处理的,不依赖于工作队列等。主要是通过注册input_handler实现,具体见后面的代码分析。
另一方面,对于串口设备来说,其sysrq的处理流程根据各串口驱动的实现而稍有不同,但基本都是直接在硬件中断中直接处理的。
所以,总的来说,sysrq魔术键基本都在中断上下文中处理,优先级很高,能在关键时刻发挥重要作用。 4、代码分析
Sysrq功能使用结构体sysrq_key_op定义了一个键盘键码所对应的行为,
struct sysrq_key_op {
void (*handler)(int);
char *help_msg;
char *action_msg;
int enable_mask;
};
其中:
handler表示相应键码所对应的处理函数;
action_msg是执行处理函数前打印的信息;
help_msg指相应键码的帮助信息;
enable_mask指该功能是否打开,仅限于键盘输入方式。 另外,sysrq还定义了一个静态全局数组sysrq_key_table,共有36个元素,其中0~9用于命令字0~9,10到36用于命令字a~z。当从/proc/得到输入的命令字后,可以根据这个规则计算出他在sysrq_key_table中的index,然后判断对应handler是否为空,如果不为空的话,则调用handler函数处理。
static struct sysrq_key_op *sysrq_key_table[36] = {
&sysrq_loglevel_op, /* 0 */
&sysrq_loglevel_op, /* 1 */
&sysrq_loglevel_op, /* 2 */
&sysrq_loglevel_op, /* 3 */
&sysrq_loglevel_op, /* 4 */
&sysrq_loglevel_op, /* 5 */
&sysrq_loglevel_op, /* 6 */
&sysrq_loglevel_op, /* 7 */
&sysrq_loglevel_op, /* 8 */
&sysrq_loglevel_op, /* 9 */
/*
* a: Don‘t use for system provided sysrqs, it is handled specially on
* sparc and will never arrive.
*/
NULL, /* a */
&sysrq_reboot_op, /* b */
&sysrq_crash_op, /* c & ibm_emac driver debug */
&sysrq_showlocks_op, /* d */
&sysrq_term_op, /* e */
&sysrq_moom_op, /* f */
/* g: May be registered for the kernel debugger */
NULL, /* g */
NULL, /* h - reserved for help */
&sysrq_kill_op, /* i */
#ifdef CONFIG_BLOCK
&sysrq_thaw_op, /* j */
#else
NULL, /* j */
#endif
&sysrq_SAK_op, /* k */
#ifdef CONFIG_SMP
&sysrq_showallcpus_op, /* l */
#else
NULL, /* l */
#endif
&sysrq_showmem_op, /* m */
&sysrq_unrt_op, /* n */
/* o: This will often be registered as ‘Off‘ at init time */
NULL, /* o */
&sysrq_showregs_op, /* p */
&sysrq_show_timers_op, /* q */
&sysrq_unraw_op, /* r */
&sysrq_sync_op, /* s */
&sysrq_showstate_op, /* t */
&sysrq_mountro_op, /* u */
/* v: May be registered for frame buffer console restore */
NULL, /* v */
&sysrq_showstate_blocked_op, /* w */
/* x: May be registered on ppc/powerpc for xmon */
/* x: May be registered on sparc64 for global PMU dump */
NULL, /* x */
/* y: May be registered on sparc64 for global register dump */
NULL, /* y */
&sysrq_ftrace_dump_op, /* z */
};
如之前所说,3.10版本内核代码中使用了input_handler来实现Sysrq魔术键的单独处理。
相应的input_handler定义:
static struct input_handler sysrq_handler = {
.filter = sysrq_filter,/*相应的filter处理函数,在input子系统中调用,其中调用了Sysrq的处理函数*/
.connect = sysrq_connect,
.disconnect = sysrq_disconnect,
.name = “sysrq”,
.id_table = sysrq_ids,
}; 注册input_handler,函数调用流程:sysrq_init()–>sysrq_register_handler()–>input_register_handler()
static int __init sysrq_init(void)
{
sysrq_init_procfs();
if (sysrq_on())
sysrq_register_handler();
return 0;
}
static inline void sysrq_register_handler(void)
{
unsigned short key;
int error;
int i;
for (i = 0; i < ARRAY_SIZE(sysrq_reset_seq); i++) {
key = platform_sysrq_reset_seq[i];
if (key == KEY_RESERVED || key > KEY_MAX)
break;
sysrq_reset_seq[sysrq_reset_seq_len++] = key;
}
error = input_register_handler(&sysrq_handler);
if (error)
pr_err(“Failed to register input handler, error %d”, error);
else
sysrq_handler_registered = true;
}
Sysrq魔术键处理代码流程:
atkbd_interrupt() //键盘中断ISR
input_event() //输入子系统相关处理
input_handle_event()
input_pass_values()
input_to_handler()
handler->filter() //sysrq预先注册好的handler(sysrq_handler)的filter接口(sysrq_filter)
sysrq_filter()
sysrq_handle_keypress()
__handle_sysrq() //sysrq魔术键具体处理
最终在__handle_sysrq()函数中完成Sysrq魔术键的具体处理。 键盘其它按键的处理
键盘其它按键的处理也是通过注册相应的input_handler(kbd_handler)来实现的,相应的event接口kbd_event()也在input子系统中调用:
/*键盘按键相应的input_handler*/
static struct input_handler kbd_handler = {
.event = kbd_event,
.match = kbd_match,
.connect = kbd_connect,
.disconnect = kbd_disconnect,
.start = kbd_start,
.name = “kbd”,
.id_table = kbd_ids,
};

kbd_handler注册:kbd_init()–>input_register_handler()
int __init kbd_init(void)
{
int i;
int error;
for (i = 0; i < MAX_NR_CONSOLES; i++) {
kbd_table[i].ledflagstate = kbd_defleds();
kbd_table[i].default_ledflagstate = kbd_defleds();
kbd_table[i].ledmode = LED_SHOW_FLAGS;
kbd_table[i].lockstate = KBD_DEFLOCK;
kbd_table[i].slockstate = 0;
kbd_table[i].modeflags = KBD_DEFMODE;
kbd_table[i].kbdmode = default_utf8 ? VC_UNICODE : VC_XLATE;
}
error = input_register_handler(&kbd_handler);
if (error)
return error;
tasklet_enable(&keyboard_tasklet);
tasklet_schedule(&keyboard_tasklet);
return 0;
}
键盘其它按键的处理代码流程:
atkbd_interrupt() //键盘中断ISR
input_event() //输入子系统相关处理
input_handle_event()
input_pass_values()
input_to_handler()
handler->events() //键盘初始化是预先注册好的handler(kbd_handler)的event接口(kbd_event)
kbd_event()
kbd_keycode()
put_queue()
tty_insert_flip_char() //将键盘键值对应的编码数据写入缓冲区
tty_schedule_flip() //激活工作队列处理,处理函数为flush_to_ldisc
最终在kbd_keycode()函数进行相应的键码处理,主要完成键码的转换分类工作,根据按键类型的不同,执行不同的操作。对于输入类按键,先将按键值存放到临时缓冲区,激活临时缓冲区的工作队列,然后结束。对于控制类按键,激活对应此次控制操作 的工作队列,然后结束。 通过/proc接口触发Sysrq魔术键的主要函数流程(write_sysrq_trigger()为/proc/sysrq-trigger接口的write接口):
write_sysrq_trigger()
__handle_sysrq() 串口驱动(以8250串口为例)中对Sysrq魔术键的支持:
按照sysrq的设计,通过标准串口链接,按下break键后5秒内,再按住command字符,会触发command对应的sysrq流程。
相关的处理流程如下(从串口驱动的接收函数serial8250_rx_chars()开始,此函数在中断上下文中执行):
serial8250_rx_chars()
/*
* 判断是否按下了break键,用于判断Sysrq。当按住break键时,在uart_handle_break中判断port->sysrq是否为0,如果为0,
* 则将port->sysrq置为5秒后的jiffies数。
*/
uart_handle_break()
/*
* 对于每一个接收的字符,都会调用uart_handle_sysrq_char。如果当前jiffies数值比port->sysrq小,
* 则说明当前字符是在按住了break后5秒内输入的,因此调用handle_sysrq处理该命令。
*/
uart_handle_sysrq_char()

 

**********************************************************************************************

gdb结合coredump定位崩溃进程

打开core dump文件生成?

ulimit -c unlimited

生成的core file在哪里?
core file生成的地方是在/proc/sys/kernel/core_pattern文件定义的。
%%: 相当于%
%p: 相当于<pid>
%u: 相当于<uid>
%g: 相当于<gid>
%s: 相当于导致dump的信号的数字
%t: 相当于dump的时间
%h: 相当于hostname
%e: 相当于执行文件的名称
这时用如下命令设置生成的core file到系统/tmp目录下,并记录pid以及执行文件名
    echo "/tmp/core-%e-%p" > /proc/sys/kernel/core_pattern
示例代码:
#include <stdio.h>

int func(int *p)
{
*p = ;
} int main()
{
func(NULL);
return ;
}

在编译的时候开启-g调试开关就可以了.

bt

l

info thread

x/d 0xbf96d4d4

(3)调试无-g编译的release程序,与core dump文件无关

1. 相同的代码编译debug版本test_debug和release版本test_release;

2. objcopy --only-keep-debug test_debug projectsymbol.dbg   #从DEBUG版本生成符号表;

3. gdb -q --symbol=projectsymbol.dbg -exec=test_release    #加载符号表;

4. 像调试debug一样可以调试release了

上一篇:pacman -Syu : key could not be looked up remotely.


下一篇:java.IO输入输出流:过滤流:buffer流和data流