DB分布式-两种方式
1. JDBC扩展
sharding-jdbc: 直接封装JDBC,代码迁移成本低,适用于任何连接池及ORM框架,JAR包提供服务,未使用中间层,不用额外部署,DBA无需改变原有运维方式,使用DRUID sql解析器,速度快。
分布策略灵活,SQL解析功能完善,能支持分布式生成全局主键,读写分离,柔性(努力送达)事物
盗图
TDDL(taobao data distribute layer):中间层,以jar包形式调用
2. 服务中间件
Amoeba: 独立中间件服务,用户链接amoeba操作Mysql集群,后端还是jdbc driver
Cobar:后端jdbc driver改为原生的mysql通信协议层,这里将不支持Jdbc规范,但也更具灵活性
Mycat : 增加nio方式,多种聚合,活跃
跨库分页-摘自网文,觉得不错
方法一:全局视野法
(1)将order by time offset X limit Y,改写成order by time offset 0 limit X+Y
(2)服务层对得到的N*(X+Y)条数据进行内存排序,内存排序后再取偏移量X后的Y条记录
这种方法随着翻页的进行,性能越来越低。
方法二:业务折衷法-禁止跳页查询
(1)用正常的方法取得第一页数据,并得到第一页记录的time_max
(2)每次翻页,将order by time offset X limit Y,改写成order by time where time>$time_max limit Y
以保证每次只返回一页数据,性能为常量。
方法三:业务折衷法-允许模糊数据
(1)将order by time offset X limit Y,改写成order by time offset X/N limit Y/N
方法四:二次查询法
(1)将order by time offset X limit Y,改写成order by time offset X/N limit Y
(2)找到最小值time_min
(3)between二次查询,order by time between $time_min and $time_i_max
(4)设置虚拟time_min,找到time_min在各个分库的offset,从而得到time_min在全局的offset
(5)得到了time_min在全局的offset,自然得到了全局的offset X limit Y