teprunner测试平台定时任务这次终于稳了

teprunner测试平台已经有一个多月没有更新了,主要原因是定时任务不够稳定,经过反复试错,找到了解决办法,这次终于稳定了。

本文开发内容

作为测试平台而言,定时任务算是必备要素了,只有跑起来的自动化,才能算是真正的自动化。本文将给测试计划添加定时任务功能,具体如下:

  • 前端添加测试计划的定时任务开关
  • 采用crontab表达式设置计划时间
  • 后端集成django-apschedule,在数据库中记录任务明细和执行详情。
  • 定时清理执行记录。

前端效果图:

teprunner测试平台定时任务这次终于稳了

前端开发内容

编辑src/views/teprunner/plan/PlanEditor.vue文件:

teprunner测试平台定时任务这次终于稳了

运行环境用el-select实现了下拉框,用el-switch实现了开关按钮。

teprunner测试平台定时任务这次终于稳了

el-pophover实现了帮助描述,可以参考编写crontab表达式。

teprunner测试平台定时任务这次终于稳了

在data中添加了表单项taskRunEnv、taskStatus、taskCrontab,必填规则,以及其他变量。

teprunner测试平台定时任务这次终于稳了

页面创建时读取localStorage中的计划信息。

teprunner测试平台定时任务这次终于稳了

并获取运行环境下拉框选项。

teprunner测试平台定时任务这次终于稳了

开关按钮的文字是根taskStatus进行设置的。

teprunner测试平台定时任务这次终于稳了

在保存时,给请求添加上新的这3个参数。

后端开发内容

第一步是安装django-apscheduler,要么直接安装:

pip install django-apscheduler

要么更新项目代码后通过requirements.txt安装:

pip install -r requirements.txt

然后编辑teprunnerbackend/settings.py文件:

teprunner测试平台定时任务这次终于稳了

在INSTALLED_APPS中添加django_apscheduler。

接着迁移数据库,创建两张任务表,一张任务明细表,一张任务执行情况表

python manage.py migrate

teprunner测试平台定时任务这次终于稳了

编辑teprunner/models.py文件:

teprunner测试平台定时任务这次终于稳了

给Plan模型添加3个字段。

编辑teprunner/serializers.py文件:

teprunner测试平台定时任务这次终于稳了

同样的,给PlanSerializer添加3个字段。

新建teprunner/views/task.py文件:

teprunner测试平台定时任务这次终于稳了

创建BackgroundScheduler的对象实例,Background指的是在后台运行。并添加DjangoJobStore,把任务通过Django保存到数据库中。

teprunner测试平台定时任务这次终于稳了

添加一个定时删除执行记录的任务,max_age是最大保存时间,这里设置为7天。scheduler.add_job()用来添加定时任务,trigger是触发器,也就是计划时间,这里设置为每周一0点。id是任务的标识符。max_instances指同时最多只有一个实例。replace_existing设置为True,每次都更新已存在的任务,防止重启服务导致scheduler.add_job()报错。

teprunner测试平台定时任务这次终于稳了

启动任务。

编辑teprunner/views/run.py文件:

teprunner测试平台定时任务这次终于稳了

为了手动执行测试计划和定时任务执行测试计划共用,这里把执行代码抽取了部分作为run_plan_engine()函数。

编辑teprunner/views/plan.py文件:

teprunner测试平台定时任务这次终于稳了

重写create方法,先根据测试计划的名字判断是否已存在,如果存在就直接返回500。接着判断开关如果开启,那么就通过scheduler.add_job()添加任务。跟刚才添加任务的有点区别是,通过args参数指定了func函数的参数。最后把任务添加日志写到响应中返回。

teprunner测试平台定时任务这次终于稳了

重写update方法,先判断测试计划是否已经存在,判断规则是根据名字去查找已存在记录,如果找到同名计划,且id不是自己,那么就认为已存在同名计划,直接返回500。

teprunner测试平台定时任务这次终于稳了

然后判断如果开关打开,就新增任务;如果开关关闭,就删除任务,删除任务使用scheduler.remove_job()。

teprunner测试平台定时任务这次终于稳了

最后重写destroy方法,在删除测试计划时,一并删除定时任务。

猴子补丁解决pymysql连接问题

为什么定时任务会不稳定?因为我用的pymysql库,它不会进行数据库连接断开后重试。Django和MySQL建立建立后,何时断开连接通过CONNECT_MAX_AGE来设置,默认是0,表示使用完马上断开连接。Django只会对Web请求采取这个策略,使用signals.request_started.connect(close_old_connections)和signals.request_finished.connect(close_old_connections)来关闭旧连接。但定时任务不是Web请求,而是直接连接数据库,Django并不会去主动断开这个连接。而MySQL默认8小时会把连接断掉,于是当Django拿着已经被MySQL断开的连接对象去请求MySQL,就报错了。

当我在本地安装了MySQL后,重启MySQL就能复现这个问题。

解决办法一是把旧连接复活,进行断线重连,但是会导致连接占用可能越来越多,耗费资源。解决办法二是像Django处理Web请求一样,每次用完就断开,下次使用再重新连接,占用资源少。

猴子补丁是指不修改第三方库的基础上,对库的功能进行扩展。我给django-apscheduler写了个猴子补丁,实现第二个解决办法,用完就断开连接:

teprunner测试平台定时任务这次终于稳了

并且通过issue方式,告诉了它的作者:

teprunner测试平台定时任务这次终于稳了

这开启了我在GitHub上英文交流技术的大门。

比如我又给loguru提了个bug,此时已经和loguru的作者英文交流了5个回合。

小结

本文给测试计划添加了定时任务功能,为teprunner测试平台补上了一块重要拼图。从此它不但能批量执行用例了,还能按照计划时间,定时执行,实现了真正的自动化。

上一篇:单独编译和使用webrtc音频回声消除模块(附完整源码+测试音频文件)


下一篇:单独编译和使用webrtc音频降噪模块(附完整源码+测试音频文件)