django & celery - 关于并发处理能力和内存使用的小结

背景

众所周知,celery 是python世界里处理分布式任务的好助手,它的出现结合赋予了我们强大的处理异步请求,分布式任务,周期任务等复杂场景的能力。

然鹅,今天我们所要讨论的则是如何更好的在使用celery, 主要讨论的点针是对内存的使用方面。

django & celery & django-celery  

楼主的项目中使用的是 celery 和 django 的相结合的方式,版本分别为:

python == 2.7

celery==3.1.25

Django==1.11.7

django-celery==3.2.2
  

celery 处理并发

项目中使用celery beat 来触发定时任务;并且根据业务需求,分别使用了2个 celery worker 来处理异步请求。

在开发环境下,操作系统有4个processors, 内存为8GB。在默认情况下,启动celerycelery beat 和 两个 worker 后,并发情况如下:

可以看到,默认情况下,celery 会根据processor的数量(4个)来启动相应数量的worker。

celery 允许我们通过配置 ‘CELERYD_CONCURRENCY ’   来 控制 celery worker 并发数 。 

当修改celery worker 为 tasksWorker 的 worker 的配置为: CELERYD_CONCURRENCY = 2 后,worker数量如下图:

我们可以看到, 只有 2个 worker 被启动。

celery worker 关于内存

网上有不少帖子分析过 celery worker 对于内存的使用,发现worker在处理完任务后并没有释放内存。但是,celery提供了一个配置允许我们制定每个worker处理任务的最大数量 (CELERYD_MAX_TASKS_PER_CHILD),当一个worker处理任务的数量到达制定数量后,celery会销毁该worker并且重新启动一个新的。

当 CELERYD_MAX_TASKS_PER_CHILD  = 5 时,worker运行多次后,可以看到 旧的worker 被销毁,新的 worker 被启动。

旧的 worker :

 新的 worker :

此外,当我们结合使用 django 和 celery是,需要关闭 Debug 配置,因为开启会引起celery beat 的 memory leak。 详细描述请看:https://*.com/questions/45366680/celerybeat-process-consumes-all-os-memory 

上一篇:python-Django Celery缓存锁不起作用?


下一篇:禁用芹菜任务缓存