Linux|系统管理|WEB开发

关注Linux,系统管理,WEB开发以及开源世界

Kernel Panic故障排解

| Comments

Linux kernel panic 是很难定位和排查的重大故障,一旦系统发生了kernel panic，相关的日志信息非常少，而一种常见的排查方法—重现法–又很难实现，因此遇到kernel panic的问题，一般比较头疼。

没有一个万能和完美的方法来解决所有的kernel panic问题，这篇文章仅仅只是给出一些思路，一来如何解决kernel panic的问题，二来可以尽可能减少发生kernel panic的机会。

什么是kernel panic

就像名字所暗示的那样，它表示Linux kernel走到了一个不知道该怎么走下一步的状况，一旦到这个情况，kernel就尽可能把它此时能获取的全部信息都打印出来，至于能打印出多少信息，那就看是那种情况导致它panic了。

有两种主要类型 kernel panic：

  1. hard panic(也就是Aieee信息输出)
  2. soft panic (也就是Oops信息输出)

什么能导致kernel panic

只有加载到内核空间的驱动模块才能直接导致kernel panic，你可以在系统正常的情况下，使用lsmod查看当前系统加载了哪些模块。
除此之外，内建在内核里的组件（比如memory map等）也能导致panic。
因为hard panic和soft panic本质上不同，因此我们分别讨论。 *

如何排查hard panic

一般出现下面的情况，就认为是发生了kernel panic:

  1. 机器彻底被锁定，不能使用
  2. 数字键(Num Lock)，大写锁定键(Caps Lock)，滚动锁定键(Scroll Lock)不停闪烁。
  3. 如果在终端下，应该可以看到内核dump出来的信息（包括一段”Aieee”信息或者”Oops”信息）
  4. 和Windows蓝屏相似

原因：

对于hard panic而言，最大的可能性是驱动模块的中断处理(interrupt handler)导致的，一般是因为驱动模块在中断处理程序中访问一个空指针(null pointre)。一旦发生这种情况，驱动模块就无法处理新的中断请求，最终导致系统崩溃。

信息收集

根据panic的状态不同，内核将记录所有在系统锁定之前的信息。因为kenrel panic是一种很严重的错误，不能确定系统能记录多少信息，下面是一些需要收集的关键信息，他们非常重要，因此尽可能收集全，当然如果系统启动的时候就kernel panic，那就无法只知道能收集到多少有用的信息了。

  1. /var/log/messages: 幸运的时候，整个kernel panic栈跟踪信息都能记录在这里。
  2. 应用程序/库 日志: 可能可以从这些日志信息里能看到发生panic之前发生了什么。
  3. 其他发生panic之前的信息，或者知道如何重现panic那一刻的状态
  4. 终端屏幕dump信息，一般OS被锁定后，复制，粘贴肯定是没戏了，因此这类信息，你可以需要借助数码相机或者原始的纸笔工具了。

如果kernel dump信息既没有在/var/log/message里，也没有在屏幕上，那么尝试下面的方法来获取（当然是在还没有死机的情况下）：

  1. 如果在图形界面，切换到终端界面，dump信息是不会出现在图形界面的，甚至都不会在图形模式下的虚拟终端里。

  2. 确保屏幕不黑屏，可以使用下面的几个方法：

    • setterm -blank 0
    • setterm -powerdown 0
    • setvesablank off

  3. 从终端，拷贝屏幕信息（方法见上）

完整栈跟踪信息的排查方法

栈跟踪信息(stack trace)是排查kernel panic最重要的信息，该信息如果在/var/log/messages日志里当然最好，因为可以看到全部的信息，如果仅仅只是在屏幕上，那么最上面的信息可能因为滚屏消失了，只剩下栈跟踪信息的一部分。如果你有一个完整栈跟踪信息的话，那么就可能根据这些充分的信息来定位panic的根本原因。要确认是否有一个足够的栈跟踪信息，你只要查找包含”EIP”的一行，它显示了是什么函数和模块调用时导致panic。大概就像下面这个例子一样：

Dec 20 02:40:58 AS-4 kernel: Unable to handle kernel NULL pointer dereference at virtual address 0000000c
Dec 20 02:40:58 AS-4 kernel: printing eip:
Dec 20 02:40:58 AS-4 kernel: f890c2c0 ###my comments: (in user_hold)                              
Dec 20 02:40:58 AS-4 kernel: *pde = 00000000
Dec 20 02:40:58 AS-4 kernel: Oops: 0002
Dec 20 02:40:58 AS-4 kernel: CPU:    3
Dec 20 02:40:58 AS-4 kernel: EIP:    0010:[<f890c2c0>]    Not tainted
Dec 20 02:40:58 AS-4 kernel: EFLAGS: 00010282
Dec 20 02:40:58 AS-4 kernel: eax: 00000000   ebx: ef27a5e8   ecx: 00000000   edx: c3036000
Dec 20 02:40:58 AS-4 kernel: esi: f5f31054   edi: f6109800   ebp: f5f31054   esp: c3037de4
Dec 20 02:40:58 AS-4 kernel: ds: 0018   es: 0018   ss: 0018
Dec 20 02:40:58 AS-4 kernel: Process swapper (pid: 0, stackpage=c3037000)
Dec 20 02:40:58 AS-4 kernel: Stack: f89269f2 f6109800 00000000 f5f31054 f5f31054 f6109800 f8926525 f6109800
Dec 20 02:40:58 AS-4 kernel: ef27a5e8 f5f31054 f5f31054 00000001 f8925c42 f5f31054 f6109800 f8925b42
Dec 20 02:40:58 AS-4 kernel: f5f31054 00000001 ef27a5e8 f89263ea f5f31054 f5f31054 f5f31054 f6f2c03c
Dec 20 02:40:58 AS-4 kernel: Call Trace: [<f89269f2>] [<f8926525>] [<f8925c42>] [<f8925b42>] [<f89263ea>]
Dec 20 02:40:58 AS-4 kernel: [<f89261ce>] [<f8925c3a>] [<f8925b42>] [<f890879f>] [<f8908203>] [<c027175f>]
Dec 20 02:40:58 AS-4 kernel: [<f89513dc>] [<c0271841>] [<c0271966>] [<c0128b1b>] [<c0109400>] [<c0109521>]
Dec 20 02:40:58 AS-4 kernel: [<c01053cc>] [<c010b75f>] [<c01053cc>] [<c01053f5>] [<c0105445>] [<c0122c65>]
Dec 20 02:40:58 AS-4 kernel:
Dec 20 02:40:58 AS-4 kernel: Code: f0 ff 40 0c c3 8d 76 00 53 8b 54 24 0c f0 ff 4a 0c 0f 94 c0
Dec 20 02:40:58 AS-4 kernel: <0>Kernel panic: Aiee, killing interrupt handler!

完整栈信息无效的排查方法

如果只有部分跟踪信息，要快速定位问题的根本原因就变得很难，因为没有明显的信息来告诉我们是哪个模块或者函数的调用导致了内核panic，你可能只能看到kernel最后的一些指令。这种情况下，要尽可能多的收集信息，包括程序日志，库的跟踪信息，故障重现的步骤等。

Hard panic 部分跟踪信息例子（没有EIP信息）：

[c01e42e7] iprcv 
[kernel] 0x357 [f8a179d5] sramintr 
[streamsdlgnDriver] 0x32d [f89a3999] lisspinlockirqsavefcn 
[streams] 0x7d  [f8a82fdc] inthwlock
[streamsdlgnDriver] 0x1c [f8a7bad8] pwswtbl 
[streamsdlgnDriver] 0x0 [f8a15442] dlgnintr 
[streamsdlgnDriver] 0x4b [f8a7c30a] GnMaxpm 
[streamsdlgnDriver] 0x7ae [c0123bc1] runtimers
[kernel] 0xd1 [c0108a6e] handleIRQevent 
[kernel] 0x5e [c0108c74] doIRQ 
[kernel] 0xa4 [c0105410] defaultidle 
[kernel] 0x0 [c0105410] defaultidle 
[kernel] 0x0 [c022fab0] calldoIRQ
[kernel] 0x5 [c0105410] defaultidle 
[kernel] 0x0 [c0105410] defaultidle 
[kernel] 0x0 [c010543d] defaultidle 
[kernel] 0x2d [c01054c2] cpuidle 
[kernel] 0x2d [c011bb86] callconsoledrivers 
[kernel] 0x4b [c011bcfb] callconsoledrivers 
[kernel] 0xeb Code: 8b 50 0c 85 d2 74 31 f6 42 0a
02 74 04 89 44 24 08 31 f6 0f <0> 
Kernel panic: Aiee, killing interrupt handler! In interrupt handler - not syncing

使用内核调试工具(kenrel debugger ,aka KDB)

如果跟踪信息只有一部分且不足以用来定位问题的根本原因时，kernel debugger(KDB)就需要请出来了。 KDB编译到内核里，panic发生时，他将内核引导到一个shell环境而不是锁定。
这样，我们就可以收集一些与panic相关的信息了，这对我们定位问题的根本原因有很大的帮助。

使用KDB需要注意，内核必须是基本核心版本，比如是2.4.18，而不是2.4.18-5这样子的，因为KDB仅对基本核心有效。

如何排查soft panic

症状：

  1. 没有hard panic严重
  2. 通常导致段错误(segmentation fault)
  3. 可以看到一个oops信息，/var/log/messages里可以搜索到’Oops’
  4. 机器稍微还能用（但是收集信息后，应该重启系统）

原因：

凡是非中断处理引发的模块崩溃都将导致soft panic。
在这种情况下，驱动本身会崩溃，但是还不至于让系统出现致命性失败，因为它没有锁定中断处理例程。导致hard panic的原因同样对soft panic也有用（比如在运行时访问一个空指针)

信息收集： 当soft panic发生时，内核将产生一个包含内核符号(kernel symbols)信息的dump数据，这个将记录在/var/log/messages里。
为了开始排查故障，可以使用ksymoops工具来把内核符号信息转成有意义的数据。

为了生成ksymoops文件,需要：

  • 从/var/log/messages里找到的堆栈跟踪文本信息保存为一个新文件。确保删除了时间戳(timestamp)，否则ksymoops会失败。
  • 运行ksymoops程序（如果没有，请安装）
  • 详细的ksymoops执行用法，可以参考ksymoops(8)手册。

下面是一个soft panic的oops跟踪例子：

Code: 8b 70 0c 50 e8 69 f9 f8 ff 83 c4 10 83 f8 08 74 35 66 c7 47 EIP; 
f89ba71e [streams-dlgnDriver]dlgnsetidlestate+1e/8c Trace; 
f8951bd6 [streams]liswakeupclose+86/110 Trace; 
f8a2705c [streams-dlgnDriver]moduleparmr4feature+280/1453 Trace;
f8a27040 [streams-dlgnDriver]moduleparmr4feature+264/1453 Trace; 
f89b9198 [streams-dlgnDriver]dlgnwput+e8/204 Trace;

Comments