背景

1、产品的问题点

• PG 没有block level压缩

2、问题点背后涉及的技术原理

• PG 只有行级别压缩, 当1条记录压缩后的长度超过1/4 block size(约2000字节)(由参数 TOAST_TUPLE_THRESHOLD 控制阈值) 时, PG 会将其变长字段类型存储到TOAST切片.
• 这种行级别的压缩方式压缩比较低

3、这个问题将影响哪些行业以及业务场景

• 对存储的成本较为敏感的业务, 例如IOT, 时序, 冷数据, 冷仓库等.

4、会导致什么问题?

• 压缩比低, 需要使用更多的存储空间, 导致存储成本较高

5、业务上应该如何避免这个坑

• 更换产品,
• 或使用FDW, 将数据存储在外部, 例如OSS_FDW将数据存储在OSS对象存储内, 使用外部廉价、高压缩比存储.

6、业务上避免这个坑牺牲了什么, 会引入什么新的问题

• 管理成本增加
• 使用oss_fdw外部存储, 不支持索引, 查询速度更慢.

7、数据库未来产品迭代如何修复这个坑

• 内核层支持BLOCK级别的压缩,
• 使用压缩效率、压缩比更高的算法
• 使用列存储, 存储同类的数据, 比行+块级别压缩比更高.