一、介绍
由于dba离职,所以公司所有的oracle数据库服务器我先兼职管理,今天登陆某省的数据库,发现ssh登陆30秒左右才进入,之后查看了一下负载与内存,具体情况如下图:
负载:
没有见过这样高的负载,以前见过最多的就是负责1000多,java的问题
内存:
连交换内存都使用完了,物理内存就剩下71m了,太危险了
top:
发现了6个僵尸进程与大量的perl进行
现在查看一下僵尸进程
发现都是[sh] <defunct>进程,以前遇到过这样的问题,都是由于cron里启动脚本的时候,没有加入错误输入到空设备里导致,解决方法是在cron里运行脚本后,添加>>/dev/null 2>&1,查看一下cron,查看是否与我的想法一致
果然是没有错误的输出,添加完>>/dev/null 2>&1在重启cron服务器就解决了
在查看perl进程
发现2726个进程,占用了大量的cpu与内存
去metalink里查看,发现这个问题是oem的故障导致,oracle给的问题的描述与解决方法为:
- Server Has 100% Of Cpu Because Of Dbresp.pl [ID 764140.1]
- ________________________________________
- Modified:07-Feb-2012 Type:PROBLEM Status:MODERATED Priority:3
- Comments (0)
- To Bottom
- In this Document
- Symptoms
- Cause
- Solution
- References
- ________________________________________
- This document is being delivered to you via Oracle Support's Rapid Visibility (RaV) process and therefore has not been subject to an independent technical review.
- Applies to:
- Enterprise Manager Base Platform - Version: 10.2.0.1 and later [Release: 10.2 and later ]
- Information in this document applies to any platform.
- ***Checked for relevance on 07-Feb-2012***
- Symptoms
- Server has 100% of CPU because of dbresp.pl . There are more than 50 process from this script
- emagent.trc shows:
- 2009-01-21 10:19:50 Thread-4099931040 WARN engine: Missing Properties : [limitSwitch]
- 2009-01-21 10:19:50 Thread-4099931040 ERROR engine: [oracle_database,orcl, alertLog] : nmeegd_GetMetricData failed : Missing Properties : [limitSwitch]
- 2009-01-22 06:54:33 Thread-4105165728 ERROR fetchlets.oslinetok: Metric execution timed out in 600 seconds
- 2009-01-22 06:54:33 Thread-4105165728 ERROR command: failed to kill process 4793 running perl: (errno=3: No such process)
- 2009-01-22 06:54:33 Thread-4105165728 ERROR engine: [oracle_database,orlc, Response] : nmeegd_GetMetricData failed : Metric execution timed out in 600 seconds
- Cause
- The Response metric is making a timed out then the Agent starts other process to take the Response metric. The process to kill the PID taking the Response metric is failing increasing the process running dbresp.pl
- Before the Response metric starts to do the timed out there is other error:
- 2009-01-21 10:19:50 Thread-4099931040 WARN engine: Missing Properties : [limitSwitch]
- 2009-01-21 10:19:50 Thread-4099931040 ERROR engine: [oracle_database,orcl,alertLog] :
- nmeegd_GetMetricData failed : Missing Properties : [limitSwitch]
- Solution
- 1. Stop DBConsole
- emctl stop dbconsole
- 2. Kill any running process.
- ps -ef | grep /opt/app/oracle/<hostname>_<sid>
- Kill any returned process.
- 3. Follow fix
- Note.361612.1 Ext/Mod Problem Performance Agent High CPU Consumption Gen
- 4. Start DB Console
- emctl start dbconsole
二、根据这个解决方法,我先关闭oem,关闭之前我先介绍一下我的系统与数据库的环境
系统版本为
- oracleserver:~ # cat /etc/SuSE
- SuSE-release SuSEconfig/
- oracleserver:~ # cat /etc/SuSE-release
- SUSE Linux Enterprise Server 10 (x86_64)
- VERSION = 10
- PATCHLEVEL = 3
数据库版本为
- SQL> select * from v$version;
- BANNER
- ----------------------------------------------------------------
- Oracle Database 10g Enterprise Edition Release 10.2.0.1.0 - 64bi
- PL/SQL Release 10.2.0.1.0 - Production
- CORE 10.2.0.1.0 Production
- TNS for Linux: Version 10.2.0.1.0 - Production
- NLSRTL Version 10.2.0.1.0 - Production
1、先登录oracle用户,然后关闭oem
- oracleserver:~ # su - oracle
- oracle@oracleserver:~> id
- uid=1000(oracle) gid=1000(oinstall) groups=1000(oinstall),1001(dba)
- oracle@oracleserver:~> emctl stop dbconsole
- TZ set to Asia/Shanghai
- Oracle Enterprise Manager 10g Database Control Release 10.2.0.1.0
- Copyright (c) 1996, 2005 Oracle Corporation. All rights reserved.
- http://oracleserver.site:1158/em/console/aboutApplication
- Stopping Oracle Enterprise Manager 10g Database Control ...
- ... Stopped.
这里需要注意的是,关闭oem的时候,刚开始什么提示都没有,查看系统的日志与oracle的报警日志也都没有任何的提示,但大家还是需要耐心的等待,我这步操作在30分钟的时候才完成了,当你运行完命令的时候,如果发现没有提示,那我建议还是多等一会比较好,不用发现没有提示就ctrl+c终止这个命令。
2、杀掉perl进程
oem关闭了,我们在查看一下内存与perl进程
perl进程
还是2726个,没有变化
内存
55m空闲
下面我们杀掉perl进程,使用 kill -9 $(ps -ef|grep perl|grep -v grep|awk '{print $2}')
然后在查看perl进程
现在perl进程没有了
查看一下内存
现在内存已经有6673m了,恢复正常
查看一下负载
现在负载变为正常了,负载这1分钟的为3.15,5分钟的为242.76,15分钟的为1236.57,
虽然负载为3,但我的服务器内为16核,所有负载为3没有问题
服务器cpu核数
现在问题解决了,如果想开启oem监控oracle的话,在oracle用户下使用emctl start dbconsole就可以。
提示:很多数据库的故障,在解决的时候,我建议大家还是先确定问题是如何产生的,找到解决问题的思路与方法,如果有metalink账号的话,最好登陆里面搜索问题产生的原因与解决方法,不太建议在百度或者谷歌里搜索问题解决方法,因为很多问题在百度或者谷歌里搜索的答案不一定准确或者适合你,如果你的生产库出现了问题,你按照百度或者故障里的解决方法解决,同时你也不明白问题的产生原因与解决的思路、办法的话,那么你只能拼运气来解决问题,解决了还好,皆大欢喜,如果没有解决甚至产生更坏的影响的话,估计你离走人不远了。
本文转自 reinxu 51CTO博客,原文链接:http://blog.51cto.com/dl528888/911535,如需转载请自行联系原作者