kudu计算公式:
假设:
tablet server 32台
master 5台
最大数据存储量为,复制和压缩后,每个tablet server 9.6TB。
每个tablet server管理的tablet为3000,包含tablet的副本。
基于以上限制,可以推测出一下内容:
分区=每行大小*总条数<=3.2G
tablet(限制每一台tablet-server 1500个分区),目前现在总kudu表为1546张表,总共32台tablet-server
3000*32/1546=62,每一张表不能超过62分区包含副本 62/3 20个分区
每一张表总大小,表总分区分的大小
3.220=64G,建议每张表总大小不能超过64G
Kudu中存储的总数据量建议为:tablet server总数单个tablet server的数据量=3224TB0.4=614TB/3 =102TB
单个tablet的数据量为:单个tablet server的数据量/每个tablet server中tablet的总数=24TB0.4/3000=3.2G。