阿里云物联网套件与云数据库

2022-02-20 00:20:23

Apache IoTDB 是专为物联网时序数据打造的数据库，提供数据采集、存储、分析的功能。IoTDB 提供端云一体化的解决方案，在云端，提供高性能的数据读写以及丰富的查询能力，针对物联网场景定制高效的目录组织结构，并与 Apache Hadoop、Spark、Flink 等大数据系统无缝打通；在边缘端，提供轻量化的 TsFile 管理能力，端上的数据写到本地 TsFile，并提供一定的基础查询能力，同时支持将 TsFile 数据同步到云端。

TsFile

TsFile 是为物联网设备时序数据存储定制的文件格式，整体以树状目录结构组织，一个 TsFile 里可存储多个设备的数据，每个设备包含多个 measurment（指标）。如下图，TsFile 里包含两个设备数据，标识分别为 d1、d2；每个设备包含 s1、s2、s3 三个监测指标。

TsFile 整体是一个多级映射表，TsFileMetaData ==> TimeSeriesMetadata ==> ChunkMetadata ==> Chunk。

TsFileMetadata 描述整个 TsFile ，包含格式版本信息， MetadataIndexNode 的位置，总的 chunk 数等元数据信息。

MetadataIndexNode 包含多个 TimeSeriesMetadata ，每个 TimeSeriesMetadata 指向一个设备的元数据信息 ChunkMetadata 列表；

ChunkMetadata 指向 ChunkHeader 位置，并对应最终的 Chunk Data。

查询引擎

IoTDB 内置查询引擎负责所有用户命令的解析、生成计划、交给对应的执行器、返回结果集。IoTDB 通过查询引擎提供了 JDBC 访问 API，简单易用。

IoTDB> CREATE TIMESERIES root.ln.wf01.wt01.status WITH DATATYPE=BOOLEAN, ENCODING=PLAIN
IoTDB> CREATE TIMESERIES root.ln.wf01.wt01.temperature WITH DATATYPE=FLOAT, ENCODING=RLE

IoTDB> INSERT INTO root.ln.wf01.wt01(timestamp,status) values(100,true);
IoTDB> INSERT INTO root.ln.wf01.wt01(timestamp,status,temperature) values(200,false,20.71)

IoTDB> SELECT status FROM root.ln.wf01.wt01
+-----------------------+------------------------+
| Time|root.ln.wf01.wt01.status|
+-----------------------+------------------------+
|1970-01-01T08:00:00.100| true|
|1970-01-01T08:00:00.200| false|
+-----------------------+------------------------+
Total line number = 2

元数据管理

IoTDB 的元数据模型采用树状结构组织，一个实例包含多个 Storage Group （类似于 Namespace、Database 的概念），一个 Storage Group 里包含多个 Device ，每个 Device 包含多个 Measurement ， Measurement 对应的时间序列数据最终存储在 TsFile Chunk 里。另外，为了方便数据过期，每个 Stroage Group 的数据会以时间范围的形式切分存储，默认以周为单位，使用不同的目录存储。

// Storage Group 分区存储结构
data
-- sequence
---- [存储组名1]
------ [时间分区ID1]
-------- xxxx.tsfile
-------- xxxx.resource
------ [时间分区ID2]
---- [存储组名2]
-- unsequence

同步工具

IoTDB 支持在边缘侧、云端部署，通常在边缘侧采集的数据有同步到远端进一步分析处理的需求；IoTDB 提供了同步工具，支持将端/设备上的 TsFile 数据往云端同步。