这次的内存泄露问题是发生在多线程场景下的。
各种工具都试过了,gc,objgraph, pdb,pympler等,仍然没有找到问题所在。
pdb感觉用起来很方便,可以调试代码,对原来的代码无侵入性。
排查问题的过程中,多线程场景下,相关的工具,显得无力的。
使用objgraph时,代码执行很长时间后,show_growth()显示没有新创建的对象。这个可能是因为objgraph只针对当前线程的上下文。
pympler,也是同样的问题。
最后,是通过分析进程的资源占用数据,找到的问题位置。
总结一下,
关于python内存泄露,这并不是一个很热点的问题。
使用python几年以来,也是第一次碰到。请教了很多同事,他们也表示没遇到过类似问题。
所以,有理由相信,如果真的遇到内存泄露,首先要检查是否引入了一个陌生的第三方包,以及其使用方法是否正确。
我这次遇到的内存泄露问题,就是第三方包导致的,频繁调用第三方包的函数,使用的对象没有及时释放,从而内存持续增长。