使用到的技术

parquet，apache arrow，以及datafusion

参考机制

• 参考使用模式

传统

 

 

 

基于cubestore

 

 

 

• 存储模式

支持本地存储以及云模式（s3.。。）

 

 

工作机制

• 一个router 处理请求，管理数据库的元数据构建查询计划以及调度执行
• 多个worker节并行进行数据预热的处理
• 一个本地后者面向云的blob 存储保存列士存储的预聚合数据

参考资料

https://cube.dev/docs/caching/using-pre-aggregations#running-in-production
https://cube.dev/blog/introducing-cubestore/
https://en.wikipedia.org/wiki/Apache_Parquet
https://github.com/apache/arrow
https://github.com/apache/arrow/tree/master/rust/datafusion
https://github.com/cube-js/cube.js/tree/master/examples/cubestore-benchmark