[debug]记一次竞态更新bug的解决

公司的django项目,有一个旧接口,使用POST方法更新用户的一种记录型数据。

这个接口的历史有点长,最早的时候没有那么多需求,只会更新两个布尔字段。后来,加入一个需要高频次记录的字段。这些字段都属于同一个model。

然后,偶然被发现有时更新会失败的情况。

Debug

开始debug,步骤是这样的:

  1. 观察nginx请求日志,观察每次POST的参数(我们记录了request_body),肉眼编译代码,尝试找出漏洞。看不出,失败!
  2. 编写单元测试,将日志中的数据,模拟成testcase,对接口反复测试。没有重现,失败!
  3. 准备查看mysql日志...
  4. 突然有了灵感。重新观察日志,发现一个特点,客户端有时会并发请求两个不同payload,但是更新同一对象的请求。原来是race condition!

解决方法

model.save(update_fields=['...'])

解析

虽然这个接口是POST,但是其实它属于PATCH更新,或者说局部更新。

而之前的代码中,使用的是全量更新。

这就导致了: 在两个同时进行的更新操作中,前面完成的一次更新,会被后一次更新覆盖。 因为后一次中对象的数据都是更新前的,所以第一次更新的效果都会恢复。

Tips

Model.save(force_insert=False, force_update=False, using=DEFAULT_DB, update_fields=None)

  • force_insert & force_update

    django的model一般会根据instance是否有主键,决定是INSERT还是UPDATE。

    但是,你可以使用这两个参数来强制选择你要执行的方式.

    force_insert不算很有用,你也可以确认对象是否有pk,有的话就删除它,然后来执行强制INSERT。

    不过,force_update应该算很有用。在django中,大多数时候UPDATE都需要先找到对象,然后再执行更新。这样稍微有点性能的浪费,如果有类似mongo的upsert功能就好了。

    用django实现的upsert:

    def upsert(instance, pk, **kwargs):
    # 注意需要指定pk,除非你的model中的pk是自动生成的(auto_increment不算)
    type(instance)(pk=pk, **kwargs).save(force_update=True)

    不过上面的方式还有点问题,如果你在kwargs中没有指定model的所有字段,那么这些字段会被重设回默认值。

  • update_fields

    这个参数,等于force_update的加强版。它代表只更新指定的几个字段,没有指定的字段就让它们保持原样好了,也就是等于REST概念中的PATCH更新。

    def upsert(instance, pk, **kwargs):
    type(instance)(pk=pk, **kwargs).save(update_fields=list(kwargs.keys()))

PATCH更新的好处很多,不止是预防了bug,还能减少payload数据量,增加性能。

为什么不用Queryset.update()

不是不用,只是这个批量更新接口不会调用.save(),也就导致了你在.save()中放的hook也不会被调用。

而且批量更新也不会触发django signals,详情请搜索我翻译的相关文章.

上一篇:SD从零开始59-61,跨公司的库存转移,Interface 修改,可用性检查和需求传递


下一篇:Android 关于Dialog弹出框