【DB吐槽大会】第38期 - PG 不能自动创建(扩展)分区

背景


1、产品的问题点

  • PG 不能自动创建(扩展)分区
    • 例如按日期分区的分区表, 每个月1个分区, 如果写入的数据落入了不存在的分区会报错, 而不是自动创建它.

2、问题点背后涉及的技术原理

  • PG 支持range, list, hash分区方法, 写入数据时, 根据分区字段的value计算得到对应的分区, 如果元数据中没有定义这个分区, 并且也没有定义默认分区的话, 报错.
    • 一般时间类型的分区字段采用range分区, 例如按年、月、日分区.
    • 某些可枚举的字段分区, 通常采用list分区.
    • 某些字段值较多, 但是总会按照这个值进行等值查询的, 比如用户ID, 则通常使用hash分区.
    • 某些情况下也可能会采用多级分区, 如hash+range, ...

3、这个问题将影响哪些行业以及业务场景

  • 通用场景, 特别是list和range分区

4、会导致什么问题?

  • list和range分区往往是随着时间的推移或业务持续运营会发生变化, 所以无法在分区表定义时完全固定下来, 而需要有开发者或DBA在需要时提前创建. 如果忘记提前创建分区, 会导致写入异常, 影响业务.
    • 例如每个月底创建下个月的分区.

5、业务上应该如何避免这个坑

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

  • 管理变得复杂, 任务、机制与业务紧耦合, 增加业务风险点

7、数据库未来产品迭代如何修复这个坑

  • 希望内核支持: 配置好分区命名规则, 如果写入的数据对应的分区不存在, 希望可以自动创建不存在的分区.
上一篇:【DB吐槽大会】第41期 - 无法预测大查询剩余执行时间


下一篇:【我们都爱Paul Hegarty】斯坦福IOS8公开课个人笔记18 Gestures手势