大数据术语之ClickHouse

Clickhouse
    ClickHouse是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),
能够使用SQL查询实时生成分析数据报告。
    特点:
    1.列式存储
    2.DBMS的功能
    3.多样化引擎
    4.高吞吐写入能力(顺序追加)
    5.数据分区与线程级并行
    6.单表数据处理能力强
数据类型
    整型范围(-2n-1~2n-1-1):Int8 Int16 Int32 Int64
    无符号整型范围(0~2n-1):UInt8 UInt16 UInt32 UInt64
    浮点型:Float32 - float Float64 – double
    布尔型: 可以使用 UInt8 类型,取值限制为0或1。
    Decimal型:
        有三种声明:
        ➢ Decimal32(s),相当于 Decimal(9-s,s),有效位数为 1~9
        ➢ Decimal64(s),相当于 Decimal(18-s,s),有效位数为 1~18
        ➢ Decimal128(s),相当于 Decimal(38-s,s),有效位数为 1~38
    字符串: String
    枚举类型:Enum8和Enum16类型
    日期类型:
        ➢ Date 接受年-月-日的字符串比如 ‘022-01-12’
        ➢ Datetime 接受 年-月-日 时:分:秒的字符串比如 ‘022-01-12 20:50:10’
        ➢ Datetime64 接受 年-月-日 时:分:秒.亚秒 的字符串比如 ‘2022-01-12 20:50:10.66’
    Array(T):由 T 类型元素组成的数组。

数据引擎
    表引擎是 ClickHouse 的一大特色。可以说,表引擎决定了如何存储表的数据。包括:
        ➢ 数据的存储方式和位置,写到哪里以及从哪里读取数据。
        ➢ 支持哪些查询以及如何支持。
        ➢ 并发数据访问。
        ➢ 索引的使用(如果存在)。
        ➢ 是否可以执行多线程请求。
        ➢ 数据复制参数。
    表引擎的使用方式就是必须显式在创建表时定义该表使用的引擎,以及引擎使用的相关参数。
TinyLog
    以文件的形式保存在磁盘,不支持索引,没有并发控制,一般保存少量数据的小表,生产环境上作用有限。可以用于平时练习测试用。
    create table t_tinylog ( id String, name String) engine=TinyLog;
Memory
    内存引擎,数据以未压缩的原始形式直接保存在内存当中,服务器重启数据就会消失。读写操作不会相互阻塞,不支持索引。简单查询下有
非常非常高的性能表现(超过 10G/s)。一般用到它的地方不多,除了用来测试,就是在需要非常高的性能,同时数据量又不太大(上限大概 1 亿行)的场景。
MergeTree
    ClickHouse 中最强大的表引擎当属 MergeTree(合并树)引擎及该系列(*MergeTree)中的其他引擎,支持索引和分区,地位可以相当于 
innodb之于Mysql。而且基于MergeTree,还衍生除了很多小弟,也是非常有特色的引擎。
创建表语句:
    create table t_order_mt(
    id UInt32,
    sku_id String,
    total_amount Decimal(16,2),
    create_time Datetime
    ) engine =MergeTree
    partition by toYYYYMMDD(create_time)
    primary key (id)
    order by (id,sku_id);

ReplacingMergeTree(去重的功能)
    ReplacingMergeTree 是 MergeTree 的一个变种,它存储特性完全继承 MergeTree,只是多了一个去重的功能。 尽管 MergeTree 可以设置主键,
但是 primary key 其实没有唯一约束的功能。如果你想处理掉重复的数据,可以借助这个 ReplacingMergeTree。
    通过测试得到结论
        1 实际上是使用 order by 字段作为唯一键
        2 去重不能跨分区
        3 只有合并才会进行去重
        4 认定重复的数据保留,版本字段值最大的
        5 如果版本字段相同则按插入顺序保留最后一笔    
手动合并命令            
 OPTIMIZE TABLE t_order_rmt FINAL;

SummingMergeTree
    对于不查询明细,只关心以维度进行汇总聚合结果的场景。如果只使用普通的MergeTree 的话,无论是存储空间的开销,
还是查询时临时聚合的开销都比较大。
ClickHouse 为了这种场景,提供了一种能够“预聚合”的引擎 SummingMergeTree。

案例演示
create table t_order_smt(
id UInt32,
sku_id String,
total_amount Decimal(16,2) ,
create_time Datetime 
) engine =SummingMergeTree(total_amount)
partition by toYYYYMMDD(create_time)
primary key (id)
order by (id,sku_id);

insert into t_order_smt values
(101,'sku_001',1000.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 11:00:00'),
(102,'sku_004',2500.00,'2020-06-01 12:00:00'),
(102,'sku_002',2000.00,'2020-06-01 13:00:00'),
(102,'sku_002',12000.00,'2020-06-01 13:00:00'),
(102,'sku_002',600.00,'2020-06-02 12:00:00');

手动合并命令            
 OPTIMIZE TABLE t_order_smt FINAL;


通过结果可以得到以下结论:
    1 以 SummingMergeTree()中指定的列作为汇总数据列;
    2 可以填写多列必须数字列,如果不填,以所有非维度列且为数字列的字段为汇总数
    据列;
    3 以order by的列为准,作为维度列;
    4 其他的列按插入顺序保留第一行;
    5 不在一个分区的数据不会被聚合;

上一篇:总是忘记date的用法


下一篇:KingbaseES R6集群sys_rman备份异机恢复案例