python定时任务——APScheduler

APScheduler——Advanced Python Scheduler。一个轻量级的 Python 定时任务调度框架。APScheduler 支持三种调度任务:固定时间间隔固定时间点(日期)Linux下Crontab 命令。同时,它还支持异步执行、后台执行调度任务。
import datetime
import time
from apscheduler.schedulers.background import BackgroundScheduler

def timedTask():
    print(datetime.datetime.utcnow().strftime("%Y-%m-%d %H:%M:%S.%f")[:-3])

if __name__ == '__main__':
    # 1.创建后台执行的 schedulers
    scheduler = BackgroundScheduler()  
    # 2.添加调度任务,调度方法为 timedTask,触发器选择 interval(间隔性),间隔时长为 2 秒
    scheduler.add_job(timedTask, 'interval', seconds=2)
    # 3.启动调度任务
    scheduler.start()
    
    while True:
        print(time.time())
        time.sleep(5)

基础组件

  • schedulers(调度器)
    它是任务调度器,属于控制器角色。它配置作业存储器和执行器可以在调度器中完成,例如添加、修改和移除作业。

  1. BlockingScheduler : 调度器在当前进程的主线程中运行,也就是会阻塞当前线程。
  2. BackgroundScheduler : 调度器在后台线程中运行,不会阻塞当前线程。
  3. AsyncIOScheduler : 结合 asyncio 模块(一个异步框架)一起使用。
  4. GeventScheduler : 程序中使用 gevent(高性能的Python并发框架)作为IO模型,和 GeventExecutor 配合使用。
  5. TornadoScheduler : 程序中使用 Tornado(一个web框架)的IO模型,用 ioloop.add_timeout 完成定时唤醒。
  6. TwistedScheduler : 配合 TwistedExecutor,用 reactor.callLater 完成定时唤醒。
  7. QtScheduler : 你的应用是一个 Qt 应用,需使用QTimer完成定时唤醒。
  • triggers(触发器)
    描述调度任务被触发的条件。不过触发器完全是无状态的。

  1. date 时间点触发:   scheduler .add_job(job_func, 'date', run_date=datetime(2017, 12, 13, 14, 0, 0), args=['text'])

  2. interval 固定时间间隔触发:  scheduler .add_job(job_func, 'interval', minutes=2, start_date='2017-12-13 14:00:01' , end_date='2017-12-13 14:00:10')

  3. cron 特定时间周期性地触发:  scheduler .add_job(job_func, 'cron', month='1-3,7-9',day='0, tue', hour='0-3')

  • job stores(作业存储器)
    任务持久化仓库,默认保存任务在内存中,也可将任务保存都各种数据库中,任务中的数据序列化后保存到持久化数据库,从数据库加载后又反序列化。

 

  • 有两种添加方法,一是 add_job(), 二是scheduled_job()修饰器来修饰函数。区别是:第一种方法返回一个 apscheduler.job.Job 的实例,可用来改变或移除 job。第二种方法只适用于应用运行期间不会改变的 job。
  • 移除 job 也有两种方法:remove_job()job.remove()
    remove_job() 是根据 job 的 id 来移除,所以要在 job 创建时指定一个 id。job.remove() 则是对 job 执行 remove 方法即可。
  • 获取 job 列表:通过 scheduler.get_jobs() 方法能够获取当前调度器中的所有 job 的列表。
  • 修改job: 用Job.modify() 或 modify_job()方法来修改 job 的属性。但注意job 的 id 是无法被修改的。
  • 关闭 job:默认情况下调度器会等待所有正在运行的作业完成后,关闭所有的调度器和作业存储。如果你不想等待,可以将 wait 选项设置为 False。

 

  • executors(执行器)
    负责处理作业的运行,它们通常通过在作业中提交指定的可调用对象到一个线程或进城池来进行。当作业完成时,执行器将会通知调度器。最常用的 executor 有两种:ProcessPoolExecutor 和 ThreadPoolExecutor

上一篇:nova-scheduler


下一篇:scrapy 源码解析 (四):启动流程源码分析(四) Scheduler调度器