celery异步分布式框架使用一

一、celery简介

      1、Celery 分布式任务队列       2、Celery 是一款非常简单、灵活、可靠的分布式系统,可用于处理大量消息,并且提供了一整套操作此系统的一系列工具。       3、Celery 是一款消息队列工具,可用于处理实时数据以及任务调度。       4、Celery 通过消息机制进行通信,通常使用中间人(Broker)作为客户端和职程(Worker)调节。启动一个任务, 客户端向消息队列发送一条消息,然后中间人(Broker)将消息传递给一个职程(Worker),最后由职程(Worker)进行执行中间人(Broker)分配的任务。       5、Celery 可以有多个职程(Worker)和中间人(Broker),用来提高Celery的高可用性以及横向扩展能力。 二、版本需求(这个是要注意一下)   1、Python版本:Python 3.6.8   2、celery版本:5.1.2   一开始我是用的是Python3.7,然后发现各种坑,经多方查证发现是Python版本高了 三、简单使用   **我们最终肯定是想将celery使用与项目中,所以我们直接略过最简单的使用   **目前celery使用的是redis,所以redis的安装可以参考其他,例如菜鸟教程。建议使用docker容器启动,简单方便   1、关于celery的文件布局:   celery异步分布式框架使用一

 

 

    celery_demo:可以理解为项目文件夹,       --proj:celery的文件夹,相关的配置文件,定义celery,包括任务,主要就是这些了         --celeryconfig.py:celery的配置文件         --celery:celery启动代码         --tasks.py:存放任务,没有特殊要求,可以就采用该文件名       --zhixing.py:调用celery的任务   2、关于celeryconfig.py配置文件简单讲解:
# coding=utf-8

broker_url  = 'redis://127.0.0.1:6379/0' # redis 存储发送端来的任务队列
result_backed = 'redis://127.0.0.1:6379/1' # 用redis存储执行端执行得到结果

  3、celery文件代码简单讲解

# coding=utf-8

from . import celeryconfig # 注意导包方式,celery对于这个比较敏感
from celery import Celery

app = Celery(
    "proj",
    include=['proj.tasks'] # 此处是tasks任务
)

app.config_from_object(celeryconfig) # 使用配置文件

if __name__ == "__main__":
    app.start()

  4、tasks.py任务文件:

# coding=utf-8

import time

from .celery import app

@app.task
def add(x=3, y=4):
    return x + y

@app.task
def mul(x, y):
    return x * y

  5、zhixing.py文件:

# coding=utf-8

import time

from proj.tasks import add

def start():
    res = add.delay(4,4)
    print(res)


if __name__ == "__main__":
    start()

  6、演示:

  ①、启动celery:celery -A proj worker -l info

       celery异步分布式框架使用一

 

  ②、执行调用代码

  celery异步分布式框架使用一

       celery异步分布式框架使用一

目前最基本简单的使用演示结束。更多可以参考相关文档。

 

 

 

       
上一篇:Linux下自动监测并重启Apache服务脚本


下一篇:ubuntu14.04下搭建python+mysql环境