mysql5.7 semi-sync的bug--semi-sync slave net-flush(

 研发的同事反馈,mysql的半同步怎么变异步了?开始觉得不足为奇,超时之后,自然变成异步了。但同步binlog的速度变得正常之后,就会自动变成同步了。但抱着严谨负责的态度,马上去检查了一下数据库的日志跟半同步的状态。

       看了一下从库的错误日志,被图片中所示的sem-sync slave net_flush() reply failed 刷屏。。。。。。,汗了,这又是哪一出?  主库却没有任何日志。

虽然此时的主从同步的延迟时间是正常的,维持在0s的延迟,但此时同步状态却是异步的。

 mysql5.7 semi-sync的bug--semi-sync slave net-flush(

      好奇怪呢?

     查看一下代码,该Semi-sync slave net_flush() reply failed 信息来自函数

ReplSemiSyncSlave::slaveReply,函数如下

mysql5.7 semi-sync的bug--semi-sync slave net-flush(

        该错误发生的条件就是执行net_flush(net)函数,没有收到正常的返回,报错了,所以有上面的错误发生,该函数的作用是将从库收到的binlog file 跟binlog pos的信息发送给主库。

       网络有问题? 即使网路抖动性的问题,网路恢复之后应该正常才是。

       为什么这个错误持续刷屏? 而主从同步目前是正常的,只是由半同步变成了异步。

       当我将slave重启之后,错误信息也很快就出现。

       因为该函数是向主库发送同步binlog的确认信息的,也就是ack信息,难道是主库的ack的接收线程出了问题? 而主库没有任何的报错信息 。

       关键时刻,自己搞不定的时候,尝试找帮手。我将错误信息,发给oracle公司的mysql开发者宋老师,宋老师是负责replication模块的开发者,对replication相当熟悉,说我可能遇上一个mysql的Bug,让我查看一下Bug 79865 .   在此,非常感谢宋老师的热情的无偿援助。

 

mysql5.7 semi-sync的bug--semi-sync slave net-flush(

     我们来看看采用了select()多路复用io模型的ack_reciver 线程的代码:

mysql5.7 semi-sync的bug--semi-sync slave net-flush(

mysql5.7 semi-sync的bug--semi-sync slave net-flush(


  bug的关键点是因为 ret= select(max_fd+1, &fds, NULL, NULL, &tv);  select()函数的入参max_fd+1有1024的限制,且这个限制无法通过修改nproc来突破?

(ulimit -n 命令可以修改nproc参数)。

   

  貌似所有的疑问都揭开,但请继续。

  

   作者采用的环境是5.7.15,同时,作者采用的操作系统是centOS 7,  根据上面http://bugs.mysql.com/bug.php?id=79865 后半部分,Meiji Kimura 的描述信息,该bug在centos 6上复现了, 而在centOS7上没有复现。而作者正是采用了centos 7.

  mysql5.7 semi-sync的bug--semi-sync slave net-flush(

 现在留下了的疑问是?

  1. centos 7 是否也没有能突破这个限制? 所以导致了bug的产生。 如果可以突破这个限制,作者的环境出现semi-sync的错误是什么原因导致?

  2.  如果有这个Bug,如何避免?

  3.  周末在家,作者没有测试环境来继续跟进这个问题,来复现这个问题。但基本思路已有,期待下周复现。

  

   但几乎无疑问的是,一定是跟多路复用IO模型select()函数有关。作者想确认的是,这个bug跟操作系统是否完全无关。因此,再次感谢宋老师跟我指明方向。  

    另外,很幸运的是,宋老师让我关注下一个版本的发布,也就是5.7.17。暗含就是这个问题应该在下一个版本中解决。



上一篇:专职DBA-MySQL主从半同步复制


下一篇:Unbiased Teacher for Semi-Supervised Object Detection论文解读