基于Tablestore的一站式物联网存储解决方案-数据湖分析

背景

在共享充电宝场景中,一些日常的运维操作可能会要求存储系统能够提供快速的OLAP解决方案。例如运维人员可能不具备开发环境,但会有一些简单查询或计算的需求。、表格存储Tablestore控制台提供了主键查询和多元索引查询两种方式。在已经创建了多元索引的表上,可以通过Tablestore控制台实现快速查询;在未建立多元索引的表上,则不能直接根据属性列进行查询、计算。所以,需要存储系统能够提供便捷的SQL访问能力。

实现方案

采用DLA+Tablestore+OSS的方案实现使用SQL语言对Tablestore中的数据进行查询分析。DLA(Data Lake Analytic)提供了分布式SQL查询计算服务,可对复杂的SQL查询进行拆分,产生多个子任务并发执行,提升数据查询速度。Tablestore作为数据存储主库,打通了与DLA之间的连接,可接受DLA的各类查询任务。OSS是一款分布式对象存储系统,在此方案中用于保存DLA查询结果。三者之间的关系图如下:
基于Tablestore的一站式物联网存储解决方案-数据湖分析

实现步骤

开通服务

  1. 开通表格存储Tablestore服务,请参考文档开通表格存储服务。若已经开通请忽略。
  2. 开通OSS服务,请参考文档开通OSS服务
  3. 开通DLA服务,请参考文档开通DLA服务

建立Tablestore数据源

  1. 登录DLA官网,进入DLA控制台。
  2. 点击元数据管理,选择Tablestore数据源。

基于Tablestore的一站式物联网存储解决方案-数据湖分析

  1. 填写调度配置,搜索Tablestore实例,自动映射表schema,点击创建。

基于Tablestore的一站式物联网存储解决方案-数据湖分析

  1. 选择对应的元数据,点击进入SQL控制台。

基于Tablestore的一站式物联网存储解决方案-数据湖分析

  1. 编写SQL语句

基于Tablestore的一站式物联网存储解决方案-数据湖分析

SQL查询示例

  • 示例:查询10条已下线的机柜记录

基于Tablestore的一站式物联网存储解决方案-数据湖分析

  • 示例:查询用户手机号为15130755023的所有订单记录

基于Tablestore的一站式物联网存储解决方案-数据湖分析

  • 示例:查询机柜D1911624846530008的时序记录

基于Tablestore的一站式物联网存储解决方案-数据湖分析

SQL结果存储

  1. 登录OSS官网,进入OSS控制台。
  2. 选择Bucket文件,查看SQL结果存储文件。

基于Tablestore的一站式物联网存储解决方案-数据湖分析

小结

DLA分布式SQL查询计算服务基于Tablestore的范围查询与过滤器的方式,可以在无多元索引的前提下,将复杂的SQL查询拆解为多个子任务并发执行,从而完成对表格存储Tablestore中的数据进行SQL查询分析。同时可以使用OSS服务保存SQL查询结果,避免一些耗时查询的重复执行。

上一篇:[算法系列之二]二叉树各种遍历


下一篇:为什么说LinkedHashMap是Java中最大的数据结构? 了解一下?