cube.js 官方关于cube store 的一些实践说明

默认cube store 使用模式

cube.js 官方关于cube store 的一些实践说明

 

 


问题: 如果数据大雨100k问题就很明显了

批处理模式

cube.js 官方关于cube store 的一些实践说明

 

 


cube.js 会发送压缩的csv 文件到cube store,(同时也包含了stream模式),目前支持包含的有redshift,bigquery,mysql,postgres

导出数据到云存储

cube.js 官方关于cube store 的一些实践说明

 

 

基于bucket 数据存储的模式,数据先到云存储,然后cube store 加载,之后查询,如果仔细观察会发现是基于特定api 的(unload query)
同时对于云存储模式,需要配置数据清理策略,不然数据可能会特别多,当前cube.js 并不管理这些数据,一般推荐的是一天,目前支持的大部分是
云端的数据库

说明

基于官方对于预聚合以及cube store 的说明,我们可以清晰的了解使用模式,以及可选的策略,同时也便于我们进行源码阅读

参考资料

https://cube.dev/docs/caching/using-pre-aggregations/

cube.js 官方关于cube store 的一些实践说明

上一篇:proj4js 坐标转换


下一篇:HDFS角色职责超详细概述Namenode、Datanode、元数据管理+fsimage 内存镜像文件+ Edits log编辑日志