大概的排查步骤如下:
首先,查找导致磁盘报警的大文件
$ find /home/ -type f -size +100M
/home/demo/web/demo/api/core.7982
/home/demo/web/demo/api/core.10035
.....................
此处省略N多行
.....................
看来是core dump文件过多导致的。
找出产生core dump文件的元凶
$ gdb -c /home/demo/web/demo/api/core.7982
GNU gdb Fedora (6.8-37.el5)
Copyright (C) 2008 Free Software Foundation, Inc.
License GPLv3+: GNU GPL version 3 or later http://gnu.org/licenses/gpl.html
This is free software: you are free to change and redistribute it.
There is NO WARRANTY, to the extent permitted by law. Type "show copying"
and "show warranty" for details.
This GDB was configured as "x86_64-redhat-linux-gnu".
(no debugging symbols found)
Core was generated by `php-fpm: pool www
很显然,最后一行Core was generated by `php-fpm: pool www 已经告诉我们,是php-fpm 产生的。
通过以下命令查看,php-fpm的确有core dump的权限。
$cat /proc/7360/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 10485760 unlimited bytes
Max core file size unlimited unlimited bytes
注意,最后的的 Max core file size 为 unlimited。一般情况下,这个值为unlimited,就可以生成core dump文件。
如果关闭core dump ?
一般设置core file size 是使用 ulimited -c unlimited 命令。在登陆时默认执行的一些文件中,没有找到这个命令的影子。
最终在/etc/security/limits.conf 文件中看到了如下设置:
* soft core unlimited
* hard core unlimited
果断注释掉,然后重启php-fpm 进程。再次查看进程的limit信息。
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 10485760 unlimited bytes
Max core file size 0 unlimited bytes
看来文件修改已经生效。
删除core文件,释放空间
删除后,磁盘空间占用马上降到了50%左右。
注意:
发现虽然/etc/security/limits.conf文件中设置了 core unlimited。但是通过unlimit -a 查看。core 的也是 0。