快速完成智能数据构建，Dataphin公共云版本全面解读

2022-06-02 23:00:23

公测两个月，Dataphin公共云版本已经受到了阿里云上众多轻量级用户的关注。事实上，Dataphin作为一款大数据智能构建与管理的产品，其核心功能是面向各行各业大数据建设、管理及应用诉求，一站式提供从数据接入到数据消费全链路的智能数据构建与管理的大数据能力，包括产品、技术和方法论，助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系，以驱动业务创新。

日前，基于公测期间用户关注的诸多问题，Dataphin团队在阿里云上启动了首场Dataphin公共云产品直播。针对性地解读了这一版本在性能和使用上的亮点。

1、Dataphin可以解决什么问题？

近年来大数据领域最热门的词非“数据中台”莫属，很多数据服务商都转型为“数据中台”的搭建者。然而与“数据中台”的构建密切相关的产品Dataphin现已正式上线阿里云公共云环境。致力于帮助更多企业完成智能数据构建与管理的期望。

“数据中台”在媒体报道中，俨然成为了一个新的风口，那么“数据中台”也像之前的“物联网”、“O2O”一样只是概念吗？其实“数据中台”是一个经过实践验证后被提出的能力，阿里巴巴早在2015年就已确定数据中台为战略方向。今天终于可完整的携带方法论、技术、产品对集团外进行能力输出。

阿里巴巴的数据中台是滋生于业务的，实实在在解决着业务中的痛点，对于正在进行数字化转型的企业来说，不同的岗位角色有着不同的困惑。

在数据使用上遇到一些现实问题，大致可以从业务视角和技术视角两方面来看：

首先是业务角度，由于数据标准不统一，命名不规范，口径不一致，导致不同业务方对于同一个业务的认知有所不同；又因为由于团队之间的壁垒，导致每个团队能够使用的数据非常有限，数据孤岛化严重；而从数据加工处理的流程来看，各业务之间相互调用，逐步形成网状依赖，加剧了数据重复建设以及管理失效的现状；

其次是技术角度，烟囱式的开发导致开发周期长、效率低下，研发资源浪费，技术标准的差异则带来维护成本奇高，同时数据垂直开发，导致生产链路复杂且长，重复计算多，数据产出时效性差；

综合整个大数据技术及应用发展历史，数据构建与管理要落地企业长效发展过程中，最大的挑战可以抽象为以下四类：

业务理解上，“数据指标不一致”；举个简单的例子，就是一家企业的CEO，订立销售目标是1个亿，结果他的5个业务负责人根据各自的算法所得的业绩数据都超过2千万，所有业务leader的任务都完成了，唯独CEO的业绩却没有完成！听起来可能是个玩笑，但是口径不一致的问题经常会出现我们的业务中；
需求支持上，“研发难”；一般地，一个需求提出到响应给到业务方，一般要一周时间，这还不算业务方拿到需求发现与实际业务中感知有所差异，不断地与开发者进行对齐的时间；
财务账单上，“资源消耗高，财务成本重”；举个简单的例子，我们写个复杂的查询，如果没有注意到全表扫描和主键唯一校验问题，就有可能扫描一张数十亿行的数据，就有可能执行超长的时间，消耗大量的资源；
数据价值透出上，则需要快速响应、敏捷开发；举个简单的例子，模型做的非常好了，但是模型师不爱写文档，或者文档太久没有更新，对于一个应用开发者或者服务开发者而言，他需要不断地去看模型的代码，去探查数据验证自己的理解和判断，直到找出所需要的数据。同样，另外一个业务开发者也需要在不同的应用中使用这份数据，如果幸运地知道别人已经开发过了，可以做到一定程度的复用，但是如果不知道这个服务的存在，这位开发者还要重新来过一遍；