AIX文件系统/var空间100%的问题

一、问题说明
/var/spool/mqueue目录下出现了多个df打头的文件,导致/var空间最终100%


EBANK_P570_MAIN/var/spool/mqueue#ls -l

total 8732656

-rw-r--r-- 1root system 571 Aug 20 2012 Qfq7JGw5K21643126

-rw-r--r-- 1root system 569 Aug 23 2012 Qfq7MGvxch987418

-rw-r--r-- 1root system 572 Jun 25 02:00 Qfs5OHxF6d1339552

-rw-r--r-- 1root system 570 Jul 04 01:59 Qfs63HwefO1359972

-rw-r--r-- 1root system 773 Jul 04 02:02 Qfs63I1DfN1790554

-rw-r--r-- 1root system 570 Jul 06 02:00 Qfs65Hx5Vq1315640

-rw-r--r-- 1root system 773 Jul 06 02:02 Qfs65I16Vp1483544

-rw------- 1root system 760 Jul 06 02:39 Qfs65IaKdR1397376

-rw-r--r-- 1root system 573 Jul 07 00:58 Qfs66GvJMf1332120

-rw-r--r-- 1root system 0 Aug 23 2012 dfq7JGw5K21643126

-rw-r--r-- 1root system 0 Aug 23 2012 dfq7MGvxch987418

-rw-r--r-- 1root system 1153011528 Jul 06 02:00 dfs65Hx5Vq1315640

-rw-r--r-- 1root system 1153012885 Jul 06 02:02 dfs65I16Vp1483544

-rw------- 1root system 1153012885 Jul 06 02:39 dfs65IaKdR1397376

-rw-r--r-- 1root system 1011801454 Jul 07 00:58 dfs66GvJMf1332120
二、原因分析:
1、查询资料:/var/spool/mqueue目录包含与队列中的每条消息关联的临时文件。即发送邮件前存放邮件的临时目录,每个定时任务执行时的输出结果都会以邮件的形式通知用户,邮件队列目录是/var/spool/mqueue,邮邮件队列包含四类邮件队列文件:数据文件、控制文件、临时文件和抄本文件。文件的格式如下:

dfAA00312     数据文件

qfAA00312     控制文件

tfAA00312     临时文件

xfAA00312     抄本文件

 

2、进一步查看文件的内容,是crontab执行/ora_backup/rep/repsj/imp.sh脚本生产了大的mail邮件,导致/var空间满

EBANK_P570_MAIN/var/spool/mqueue#more dfs66HxcE51216754

Cron Environment:

SHELL =/usr/bin/sh

PATH=/usr/bin:/etc:/usr/sbin:/usr/ucb:/usr/bin/X11:/sbin:/usr/java14/jre/bin:/usr/java14/bin

CRONDIR=/var/spool/cron/crontabs

ATDIR=/var/spool/cron/atjobs

LOGNAME=oracle

HOME=/oracle


Your "cron" job executed on EBANK_P570_MAIN onMon Jul 7 00:40:00 BEIST 201

exportBATCH_AUTO_RUN=Y; . ./.profile; sh /ora_backup/rep/repsj/imp.sh


produced the following output:


20140423

20140706

。。。。。


 

3、原因确认:由于crontab中的脚本输出内容过多,导致mail过大,最终/var空间满,因此解决方法如下

a,脚本的输出重定向到/dev/null,由于脚本不再有输出,也就不会有邮件发出

   * * * * * a.sh> /dev/null 2>&1.

b,crontab的前面添加MAILTO=""

$ crontab -e

At the top of the file, enter:

MAILTO=""

 

4、补充确认,通过监控系统趋势图确认原因

最近系统/var的利用率图可以看出,

1),最近/var空间的利用率一直在缓慢增长,6月26日左右有一个突然增长,但最近才出现了100%的问题

2),每晚其实都有个利用率的高峰,但是到了6点钟,利用率就下降为正常了,这是因为6点钟定时任务清空了oracle用户的mail

EBANK_P570_MAIN/#crontab -l oracle

0 6 * * *   cat/dev/null > /var/spool/mail/oracle

3),为什么大文件会出现在/var/spool/mqueue目录?

通过在测试机测试,

a, crontab生产的输出最先放在/tmp目录下,(对应图2 /tmp0:30开始空间利用率不断增加)

b, crontab命令执行结束后,mv到/var/spool/mqueue目录下准备发送邮件给oracle用户,(此时/var空间突然增长)

c, 正常情况下oracle用户接受,放在/var/spool/mail/oracle文件中

d, 6点执行的定时任务情况oracle的mail邮件,对应图1的/var突然下降

 

4,今日凌晨为什么没出问题?

由于/var昨日清理的比较彻底,mqueue目录能够保存了需要发送的邮件,空间从9%增加到42%,然后6点钟被清空

 AIX文件系统/var空间100%的问题

 

图1:/var空间利用率图

 

 AIX文件系统/var空间100%的问题

 

图2 、/tmp文件系统利用率

 AIX文件系统/var空间100%的问题

 

图3、今天/var利用率

 

三、解决方案
1、临时解决方法:

快速清理方案,转移大数据文件到/backup/目录下

mv /var/spool/mqueue/df* /backup/

 

2、永久解决方案,因此也建议脚本的书写要重定向,特别是有大量结果输出的执行脚本

         脚本重定向到/dev/null,防止出现大日志文件

上一篇:linux – UNIX(AIX)脚本,仅使用awk或其他文件处理实用程序处理文件


下一篇:Linux – AIX 5.3上的VIM编辑器6.3中的语法着色不能正常工作