Django 自定义装饰器解决MySQL server has gone away错误
by:授客 QQ:1033553122
测试环境
Win 10
Python 3.5.4
Django-2.0.13.tar.gz
官方下载地址:
https://www.djangoproject.com/download/2.0.13/tarball/
问题描述
实际项目开发中,编写定时任务,通过Django自带的orm去操作数据库,发现某次执行程序报错:
MySQL server has gone away
原因分析
mysql数据库存在超时关闭非活动状态连接的机制,导致Django获取的连接失效,但是Django自身并不知道。当我们在前端通过api、web页面发送request,Django处理request时会发送Signals,进而触发连接状态检查,自动关闭不可用连接,又因为不存在可用连接的情况下,Django会自动重新创建数据库连接,执行我们想要的操作,所以一般情况不会报这个错误。但是当我们使用定时任务,直接使用orm去操作数据库时并不会触发发送Signals的操作,拿着失效连接去操作数据库,然后就报错了
参考链接:
https://docs.djangoproject.com/en/1.8/ref/signals/#module-django.db.models.signals
解决方法
自定义关闭不可用连接装饰器,在操作数据库之前进行关闭不可用连接操作。
编写装饰器代码
编写实现代码前,我们先看下Django相关源码
Django-2.0.13\django\db\__init__.py
...略
# Register an event to reset saved queries when a Django request is started.
def reset_queries(**kwargs):
for conn in connections.all():
conn.queries_log.clear()
signals.request_started.connect(reset_queries)
# Register an event to reset transaction state and close connections past
# their lifetime.
def close_old_connections(**kwargs):
for conn in connections.all():
conn.close_if_unusable_or_obsolete()
signals.request_started.connect(close_old_connections)
signals.request_finished.connect(close_old_connections)
如上英文注释,可知道,开始请求和完成请求都会调用close_old_connections,重置会话事务状态,关闭超过生命周期的连接,所以我们可以参照这个实现自己的装饰器
新建wrappers.py
本例中,wrappers.py存放路径:TMP/backend/common/wrappers.py(这里TMP是我的项目名称,backend为新建应用名称)
#!/usr/bin/env python
# -*- coding:utf-8 -*-
__author__ = 'shouke'
'''
自定义装饰器
'''
from django.db import close_old_connections
def close_old_database_connections(func):
'''自定义decorator,用来装饰使用数据库操作函数'''
def wrapper(*args, **kwargs):
close_old_connections()
return func(*args, **kwargs)
return wrapper
使用装饰器
#!/usr/bin/env python
# -*- coding:utf-8 -*-
__author__ = 'shouke'
from backend.common.wrappers import close_old_database_connections
@close_old_database_connections
def gather_zengtao_group_defect_trend_data():
# ...Django orm数据库操作