OutLine
下午发现服务器资源吃紧,ps看了下,发现自己 selenium + FireFox 爬虫任务有N多进程;
处理
这些进程一直积累,没有销毁,导致资源大量占用;
代码里也确保FireFox最终会 driver.close(),退出浏览器;
后来对比了下 driver.close() 和driver.quit()的区别,close只会关闭当前窗口,如果有其他窗口,则不会关闭;
quit会把内核、所有窗口都关闭,可以避免出现上述进程积累情况。
2023-10-24 15:15:28
下午发现服务器资源吃紧,ps看了下,发现自己 selenium + FireFox 爬虫任务有N多进程;
这些进程一直积累,没有销毁,导致资源大量占用;
代码里也确保FireFox最终会 driver.close(),退出浏览器;
后来对比了下 driver.close() 和driver.quit()的区别,close只会关闭当前窗口,如果有其他窗口,则不会关闭;
quit会把内核、所有窗口都关闭,可以避免出现上述进程积累情况。