最近我们数据中心主机上的第三方管理工具升级,导致数据中心系统coredump,看起来不相关的事情,到底是怎么回事了?
首先,打开core文件看看:
core.45259 is truncated: expected core file size >= 51758821376, found: 2148233216.
第一反应是有内存泄露,core文件被截断了,core文件没有其他线索
只能碰碰运气看看系统层面的日志,通过dmesg查看系统日志
00007f8e1107b7b9 sp 00007ffe6ee6a490 error 4 in libprotobuf.so.8.0.0[7f8e1101b000+102000]
顺便看看libprotobuf.so.8.0.0,发现文件更新时间居然是第三方软件升级的时候。
就是典型的覆盖已经加载的动态库导致程序退出的问题
具体原因看看这里
http://www.cnblogs.com/cnland/archive/2013/03/20/2970515.html