Dictionary导致CPU暴涨

中午吃完饭回来,刚想眯一会,突然发现公司预警群报警,某台机器CPU100%,连续三次报警,心里咯噔一下,我新开发的程序就在这上面,是不是我的程序导致的?立马远程,oh my god,果然是。 二话不说,抓紧抓dump,由于是生产环境,所以只抓了两个dump,中间间隔一分钟,立马程序重启。

首先,这个程序从发布以来,cpu从来没有占用如此之高,已经稳定运行近一周时间,期间出现的内存暴涨问题也是由于业务垃圾数据未及时清理,那么唯一的可能性就是早上为了方便查看运行状态,增加的一个小功能导致的,凡事都要讲证据,还是抓紧分析一下dump吧。

常规思路:比较两个dump,查看是否有线程时间持续增长,进而确定下一步的方案。

打开windbg,打开第一个dump,.loadby sos clr后,先看一下线程池,输入!threadpool

Dictionary导致CPU暴涨

可以看到,目前cpu占用率92%,目前活动线程25个,由于是数据分析程序,线程稍多一点

然后输入 !runaway 看下各个线程的执行时间吧

Dictionary导致CPU暴涨

这里就有问题了,看到很多线程执行时间都在好几分钟,作为程序开发者,我感觉肯定是不应该的,因为分析过程都极度细化,每个线程的执行时间都不会超过10秒,先不管了,看下第二个dump对比下吧。

打开第二个dump,.loadby sos clr,然后 !runaway,突然发现没有出现熟悉的画面,

Dictionary导致CPU暴涨

这就很尴尬了,常规的手段没法玩了,难道是当时紧张,抓的dump也紧张了?

既然没法比较,那就只能从第一个dump的场景去分析了,首先看第一个执行了18分钟的线程,输入~10s,然后输入!clrstack

Dictionary导致CPU暴涨

可以看到这是接收Kafka数据源的,由于一直在不停接收,执行时间会相对较长,看下一个:

Dictionary导致CPU暴涨

在执行一个dictionary的insert操作,这种东西不是该秒完的么?并且这玩意一看就是早上新加的,心里不由咯噔一下,再继续找其他的线程,果然其他线程也都在执行这个代码。我靠,看来是多线程环境下没有使用ConcurrentDictionary而使用Dictionary导致的线程并发问题了?在我的意识里面,这种线程不安全的类,不该只是数据会有问题么,还会导致高CPU?看样子,应该是多个线程都在同时insert,竞争某个资源,导致死锁?可是这时候不该是CPU低么?应该是都在频繁的执行什么东西吧,并且一直执行不完,从而引发CPU暴涨。不管了,解决问题先,看一下我的源代码吧:

Dictionary导致CPU暴涨

由于不断的线程都在执行这个操作,并且没有加锁,所以导致以上问题,换为ConcurrentDictionary,问题解决。首先总结一下,在高并发环境下,首先要考虑的是Concurrent下面的线程安全类,个人在很多关键的集合上都使用了,但是这个辅助分析的集合认为数据并不重要,只要能大体反应运行状况即可,所以偷懒直接用了Dictionary,结果导致少了一个午休,真是得不偿失!

不过还得继续寻根问底啊。看看Dictionary的Add的时候,到底做了啥操作,会导致死锁或者高CPU,而不仅仅是数据不安全,首先定位到Add方法,

Dictionary导致CPU暴涨,看到调用内部的Insert,也就是我们dump中看到的,继续

Dictionary导致CPU暴涨

哎呀,这个玩意就有点复杂了,究竟哪里会导致高CPU呢?除非for循环一直结束不了,再翻翻别人的文章,发现这么一段话,是Dictionary的Find方法导致cpu高的,

Dictionary导致CPU暴涨

在多线程情况下,有可能进入死循环,但是具体哪里不清楚,留待后续解决吧。如果大牛们知道,还望赐教!

上一篇:topcoder SRM712 Div1 LR


下一篇:xshell连不上虚拟机