【重新发现PostgreSQL之美】- 21 探访宇航员的食物

背景


物联网, 金融, 社交, 电商, 电力, 游戏等行业. 大量传感器、业务日志、FEED等数据.

因为数据分析、或行业合规, 要求日志类流水类数据需要永久保存

最近的数据需要高效点查, 高效更新, 高速写入

历史的数据需要大范围快速分析计算, 高压缩比

挑战:

1、历史数据量大, 存储耗费巨大

2、无法同时解决高并发写入、更新、点查同时快速分析和高压缩比的问题

PG解决方案:

  • WO写优化、RO读优化
  • RO(读优化)存储高压缩比
  • 向量化计算性能提升一个数量级
  • 分区支持行、列混合存储
  • 通过parser analyze hook,扩展向量类型,扩展向量算子,基于代价的自动化JIT选择,在同一个实例中支持oltp, olap两种模型.

参考

《PostgreSQL 时序数据库设计最佳实践 - 关联 citus,columnar,partition,timescaledb,压缩,高速写,parallel append 多分区并行查询,分区》

https://github.com/postgrespro/vops

https://github.com/citusdata/citus

https://hub.fastgit.org/citusdata/citus/blob/master/src/backend/columnar/README.md

《PostgreSQL 向量化执行插件(瓦片式实现-vops) 10x提速OLAP》

《PostgreSQL VOPS 向量计算 + DBLINK异步并行 - 单实例 10亿 聚合计算跑进2秒》

《传统数据库30年不思进取, 而PG开辟出一条新道路》



上一篇:如何应用Java的throw验证数据


下一篇:SSRS 2012 高级图表类型 -- 小面积扇形处理