大数据量处理的方案

• 分布式计算
• 列式存储

ClickHouse的性能

数据的查询性能：

        不支持高并发，官方建议qps不超过100。

        单表查询更有优势，不推荐多表联合查询。

每秒可处理1.2GB（亿行）数据,单机支撑40亿以上的数据查询无压力。

数据的写入性能

        建议每次写入不少于1000行的批量写入，或每秒不超过一个写入请求

ClickHouse的特点

列式存储

        同一个文件的数据类型一致，可实现高效压缩。

        宽表查询时，需要处理的处理量可大大减小。

分区存储，查询时可跳过筛选条件外的分区。

数据落盘时，根据排序键将数据顺序写入。

根据主键，生成主键索引，加快检索效率；另外根据需要，还可建立二级索引。

        （ClickHouse的索引均为稀疏索引，所以索引字段的区分度要适中）

并行处理（极限压榨CPU）：

        向量引擎：为了高效利用CPU，数据不仅按列存储，同时还按向量(列的一部分)进行处理。

        复杂查询支持多核心并行处理

支持近似计算。

支持副本（高可用）、分片（水平扩容），单机性能已足够，分片特性不一定有用。

检索方式

                             

 稀疏索引