阿里云GIS曾志明:空间数据中台是什么,怎么用

本文作者曾志明博士毕业于中科院地理所GIS(地理信息系统)专业,从事GIS基础软件开发20余年。以下是曾博士在2021云栖大会的分享:

各位领导,各位来宾,大家下午好。非常荣幸有机会汇报我们在空间数据中台上面做的一些工作,以及如何助力自然资源的数字化转型。
阿里云GIS曾志明:空间数据中台是什么,怎么用

我们都知道,自然资源行业对信息化建设是非常重视的。基于通用的gis技术,自然资源行业建设了很多业务系统,如土地、规划、建设等多个方面的系统。这些系统在满足各自业务领域内的工作固然很好,但也形成了一个个的孤岛,也就是所谓的烟囱。为了能够打通烟囱,整合信息和方便共享,自然资源行业多年前开始就做了很多工作,建设了一张图、共享平台、时空云平台,以及近年来的国土空间基础信息平台等信息化整合系统。

阿里云GIS曾志明:空间数据中台是什么,怎么用

这些系统固然在一定程度上解决了数据汇总和共享的问题,也从现在看来,也面临不少挑战。

**首先,它是一个固化系统,**即是面向特定数据的,系统一开始的建设目标就圈定了数据的范围,不能很好地适应未来增加的数据类型。功能方面也是如此,不能满足快速动态变化的业务需求。如果要变化,则需要开发二期,成本投入巨大。

**其次,它的数据治理过程不可见。**一般是采用线下的工具开展,虽然也会有纸面的数据标准,但并没有固化到系统中,业务人员也很难参与进来,严重依赖于具体技术人员的能力。可能这波人干得不错,换一波人问题就出来了。业主单位很难管控。还有就是缺乏数据血缘追溯的能力,出了问题也难以快速定位问题的根源所在。

最后,就是这些系统侧重于数据的共享,在数据资产的角度考虑不足。这里包括两点,一个是数据融合不够,没有贯穿起来,也就没有发挥出数据更大的价值;再就是没有站在资产运营的完整链路去促进数据资产的利用和增值。
阿里云GIS曾志明:空间数据中台是什么,怎么用

我们回过头来看,为什么会存在上述的问题,其实从根源上讲,我们已经面临一个数字化转型或者是数字化改革的要求,但我们仍然用原来信息化建设的思路来做这些事情,存在这些问题也就不奇怪了。也就是说,我们在用信息化的手段,来试图解决数字化时代的要求。

现在已经是从IT时代发展到了DT时代。IT时代是以系统建设为中心,完成了业务的数据化,也就是能把业务产生的数据存储下来,方便检查检索。而DT时代的要求是以数据为中心来促进业务,实现数字化的转型,这两者是思维方式上的转变。

阿里云GIS曾志明:空间数据中台是什么,怎么用

我们可以把数字化转型总结为四大要素。

  • 首先是要全量数据的汇总,既包括原有业务系统的数据,也包括新增加的IoT设备的数据。

  • 其次需要基于统一的数据标准和数据模型来治理数据,这样才能把控好数据质量,同时实现数据血缘的追溯。

  • 再就是要面向业务来做数据开发,业务人员要能参与进来,要支持拖拉拽这样可视化、低代码的开发方式。

  • 最后是要促进数据发挥更大的作用,把数据转变为资产,实现数字资产的不断增值。

阿里云GIS曾志明:空间数据中台是什么,怎么用

面对数字化转型的要求,原有基于信息化思路建设的系统是明显不能满足需要的。空间数据中台就应运而生了。空间数据中台横向拉通不同业务系统中的数据,通过数据融合来发挥更大的价值,实现空间领域的数字化转型。
阿里云GIS曾志明:空间数据中台是什么,怎么用

空间数据中台到底是什么呢?首先它是空间能力和数据中台两者的有机结合。阿里的数据中台是非常成功的,有非常丰富的经验,这几年也开始投入到空间能力的建设中。

把这两者结合在一起,就能够实现对于空间数据的接入、标准、质量、建模、开发、服务、资产等全链路、一站式的Web开发平台,也是空间领域数字化转型的技术平台。

阿里云GIS曾志明:空间数据中台是什么,怎么用

这么说还是有点抽象,我们从另一个角度来看看空间数据中台不是什么:

首先空间数据中台不是gis基础软件(gis引擎),但会用到gis引擎;

另外也不是空间数据库,但肯定会用到空间数据库;

还不是空间大数据平台,不是hadoop、spark,但可以基于空间大数据平台来做分布式的存储和计算;

空间数据中台不是,也不会取代各类空间相关的业务系统,但能汇聚业务系统的数据,并使之增值,再提供给业务系统使用。

阿里云GIS曾志明:空间数据中台是什么,怎么用

我们用一张完整的大图来看看空间数据中台的位置。
各业务系统产生了多种多样的数据,这些数据通过空间数据同步模块汇聚到空间数据库和空间大数据平台中。再在gis引擎支撑下,实现空间数据标准、质量、建模、开发、融合等功能,再通过服务api把融合后的数据提供给更多业务系统使用,形成一个完整的闭环。这中间的这一大块,我们称之为空间数据中台。

阿里云GIS曾志明:空间数据中台是什么,怎么用

空间数据中台的核心模块包括:空间数据同步、空间数据探查、空间数据标准与质量、空间数据开发、空间数据建模与融合、空间数据服务和空间数据资产七大模块。限于时间,这里只选择几个重要的介绍。

阿里云GIS曾志明:空间数据中台是什么,怎么用

我们先来看看空间数据标准和质量。

数据质量一定是和数据标准结合在一起的。首先我们要对业务进行梳理,定义和业务相关的各项数据标准,确定数据的质量维度和质量规则,然后再进行数据质量的检查,提供质量报告。然后看如何提升数据质量,实现数据质量管控整体的闭环。

阿里云GIS曾志明:空间数据中台是什么,怎么用

这是相关的UI界面。包括标准设计、数据字典定义、质量规则设置,以及质量报告。

阿里云GIS曾志明:空间数据中台是什么,怎么用

另一个非常重要的是空间数据的融合。

对于空间数据融合其实有很多的办法。如果不同业务系统中,对于同一个空间对象通过ID能关联上,那是最好。不过可惜的是原有业务系统都是独立建设的,往往承担的部门还不一样,一般都没有建立起类似于身份证的ID关联。

另一个办法是看是否有统一的空间小区,例如同一个基站定义的通讯小区,同一个路口定义的交通小区,院落构成的住在小区等等。这样空间对象也能联系到一起。这有点类似于新型测绘中地理实体的概念。

最后就是通过时空关系的判断,例如空间范围的包含关系,时空轨迹上的联系,例如公交路线涉及到哪些公交站,以及空间网络的通达性等等。

上述是空间数据融合的一些具体办法,也欢迎大家一起集思广益。

阿里云GIS曾志明:空间数据中台是什么,怎么用

在数据开发上,除了SQL,还需要支持以拖拉拽方式提供的GP可视化编排的方法。这个gis引擎中也都具备。不过,我们提供了多gis引擎的算子混编,主要是集各家之所长。另外还支持字段级的数据血缘,这样在指标计算后若存在问题,能快速定位问题的根源所在。

阿里云GIS曾志明:空间数据中台是什么,怎么用

我们再来看一下数据资产。

对于数据资产,必须从全流程、分不同角色来看待资产的利用和增值,并不是一个角色从头干到尾,大家的岗位不同、职责不同,分工合作才能促进资产的增值。

数据资产的供给方把原始的数据一步步开发建模,之后变成资产目录供后续使用;资产的运营方负责对资产进行良好的管理,促进资产的增值。这里就包括上架资产,宣传推广,收集反馈等;资产的使用方则负责使用数据资产,并做出评价。

这样三个角色相互关联,通过接力,构成了数据资产的全生命周期管理。

阿里云GIS曾志明:空间数据中台是什么,怎么用

这是数据资产运营管理的几个截图。

阿里云GIS曾志明:空间数据中台是什么,怎么用

这是资产的门户截图。

阿里云GIS曾志明:空间数据中台是什么,怎么用

最后,我们来看看空间数据中台的整体架构图。

最下面是不同的数据来源,然后是基于飞天或者轻量化的数据底座,实现数据的存储和计算能力。再上面是依托于DataQ开发的空间数据中台,包括刚才提到的七个模块。再上面是依托于DataV的前端能力,包括gis前端和应用场景的开发,最后是对多种类型终端的支持,以及各类应用场景的实现。

阿里云GIS曾志明:空间数据中台是什么,怎么用

基于之前的信息我们回顾一下,针对信息整合系统所面临的挑战,空间数据中台是如何应对的。

首先,空间数据中台是一个开放的系统,能汇聚各类数据,支持灵活的开放方式。

其实,提供web、B/S的一站式数据治理;基于业务人员可掌控的数据标准和数据模型,来保证数据治理的成果质量可控。

最后,提供了全链路的数据资产管理,一方面通过空间数据的融合,促进数据增值;另一方面提供全生命周期的数据资产管理过程。

阿里云GIS曾志明:空间数据中台是什么,怎么用

那么,我们怎么判断何时需要上空间数据中台呢?
一个是对原有信息整合系统的建设思路或者成果感到不满意,或者感觉这种方式做下去已经不适合、不合时宜时,不满足于完成特定任务,而是希望能建设一个开放的、具备持续生命力的体系;

第二是做了很多业务系统,对以空间为主的业务对象有进一步做数据融合的需要时;

第三个是我们之前已经有了和空间无关的数据中台,但后来需要增加空间数据和空间能力,这样也需要把空间数据中台引入进来。我们空间数据中台其实是整个数据资源平台的组成部分,对于非空间能力在这个平台中也是可以使用的。

阿里云GIS曾志明:空间数据中台是什么,怎么用

在具体的应用场景上,空间数据正面临着大融合的要求:

自然资源单位所主导国土空间基础信息平台是汇聚和整合部门内的各类空间数据;

空间治理是把空间数据与社会经济数据做融合;

住建部的CIM平台是要结合二维数据和BIM数据;

新城建是要整合空间数据和动态城市数据。

事实上,上升到更高维度,所有这些数据,都具备整合的价值。

阿里云GIS曾志明:空间数据中台是什么,怎么用

再来看一个小的例子,就是农村宅基地。通过把和宅基地相关的数据汇聚在一起,用一个二维码关联起来。既能方便查询、办事,也能有效地杜绝宅基地的纠纷。

我们还在研究一个事情,就是把土地生命周期的各个环节都关联在一起,就是一码管地或者一码管空间了。

阿里云GIS曾志明:空间数据中台是什么,怎么用

最后总结一下:

  • 数字化转型不是将来时,而是现在就已经发生的事情。
  • 数据就是生产力,我们要从数据融合中发掘更大的价值。
  • 自然资源行业和空间领域的数字化转型也已经迫在眉睫。
  • 我们在这方面开始探索的时间也不久,也是刚刚打开帷幕,需要和自然资源领域的各位同仁朋友,一起来推动这项工作,一起共同成长。

谢谢大家,同时也感谢阿里云设计团队的贡献。(完)
阿里云GIS曾志明:空间数据中台是什么,怎么用

上一篇:组件式GIS开发总结(一)


下一篇:Python基础5:列表 元祖 字典 集合 Json