数据库迁移

概述

为了保证系统的稳定性,最近在核心库与非核心库的隔离,在做的过程需要调整数据库的部署,涉及到数据库的迁移,本文是来自在内部分享截取。

数据库迁移

如下图假设service调用db1,现在需要将db1迁移到db2,迁移完成之后service将调用db2。数据库迁移总体来说迁移数据库步骤如下:

  1. 修改应用的数据库链接字符串
  2. 将原来的数据库中数据迁移至新的数据库
  3. 发布应用启用链接新的数据库
  4. 通知下游系统,使用新的链接

数据库迁移
总来来说迁移数据库迁移步骤还算明确的,但是这4步中有个关键的一步,就是第3步,何时启用新的数据库链接直接关系到数据一致性。
按照上面的步骤迁移,要思考的一个问题就是如何判断数据是否迁移完成。假设service时时刻刻在调用db1进行写操作,那么就是说数据同步一直在进行永远不会完成。如何解决呢?

  1. 如果不等数据迁移同步完,迁移到接近完成就开始将service和db1的链接断掉,将请求打到db2,这样没有数据进到db1,db1数据总会全部同步到db2的。这样不就行了吗?这样的问题是啥呢?这样的会造成数据不一致,举个例子,比如有条记录insert操作在断掉链接1之前,insert完成之后,马上断掉了链接1启用了链接2,此时对这条记录有update操作,如果同步任务还没有将这条记录同步到db2,那么update是失败的,造成数据不一致。

数据库迁移

  1. 鉴于上面会造成数据不一致,那么如果采用双写模式模式呢,即不断开链接1,启用链接2,往两个数据库写,db1一定是完成的数据,跑上一段时间如果db2有数据不一致记录,那么用db1的记录去覆盖db2的记录,看起来似乎是可行,但是如何判断db2的数据不一致呢?这样理论上是可行,但是操作上难度系数太高。那么有没有更简单的方式呢。

数据库迁移

  1. 既然要数据一致,为何不在迁移之前就保证数据是一致的呢,但是前面又说了数据是源源不断写到db1,无法确定哪一刻db1和db2的数据是一致的。这样可以把service写db1的链接断掉,等待db1和db2数据完成之后在启用db2.这样数据就是一致的了。缩短db1断开到db2启用的时间段,在流量低峰操作,在c端透出友好提示,这样最少限度的影响客户的使用又能做到简单的数据库迁移替换。

数据库迁移
基于3的思路,如何缩短db1断开到db2启用的时间段呢?可以从如下角度考虑。

  1. ,提前全量同步db1的数据到db2.全量同步完成之后,开启增量同步, 在流量低峰,db1写入的数据不多。那么db2与db1的偏移量很低,如果停掉db1写操作,那么db1和db2的数据很快能保持一致。
  2. 快速切换。快速断开db1,同时也能快速启用db2,那么发应用显得慢,要做动态开关。

做到上面两点基本上就能将db1断开到db2启用的时间段缩的很短可以做到分钟级别,甚至秒级别的。

如何切断原数据源

这个问题要具体业务具体分析,C端用户访问功能,就要从接口层面先临时短暂做降级通过sentinel配置接口访问0,给用户友好的提示,等数据迁移完成快速切换数据源并放开并放开接口层面的限制,由此用户端短暂不可用,所以此类数据库一定要挑选深夜用户访问量少的情况发布,减少对业务的影响。

如何动态切换数据源

目前我们的项目都是通过mybatis框架来访问和操作数据库,我们知道程序通过配置 SqlSessionTemplate 使用SqlSessionTemplate来访问底层的datasource来访问和操作数据库的,那么可以采用如下思路:

  1. 继承SqlSessionTemplate 并重写 这里记DynamicSqlSessionTemplate
  2. 往DynamicSqlSessionTemplate注入多个数据源,通过apollo配置可以动态选择使用哪个datasource来操作数据库。
  3. 原来是配置的SqlSessionTemplate现在改成配置DynamicSqlSessionTemplate,程序最后使用的DynamicSqlSessionTemplate重写的方法,可以动态调整数据源。

具体的可以参考: https://www.cnblogs.com/xifengxiaoma/p/9888240.html

数据同步-阿里云DTS

阿里云数据同步和数据迁移的一个工具,可以做数据的全量与增量同步 ?
数据库迁移数据库迁移参考文档https://help.aliyun.com/document_detail/26598.html?spm=a2c4g.11186623.6.550.d6d17695FP1q32

数据库迁移

上一篇:替换空格


下一篇:php加密解密函数