【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

-更多关于数智化转型、数据中台内容请加入阿里云数据中台交流群—数智俱乐部 和关注官方微信公总号(文末扫描二维码或点此加入

-阿里云数据中台官网 https://dp.alibaba.com/index



Dataphin即智能数据构建与管理平台

旨在提供从数据接入到数据消费的全链路、一站式的大数据能力,包括产品、技术和方法论等,以助力企业打造标准统一、融会贯通、资产化、服务化、闭环自优化的智能数据体系。



版本新特性概况

自Dataphin产品上线以来,经历3年的迭代打磨,本次2.9.4.2版本在2021年5月15日发布,主要涉及数据源类型拓展,数据集成、实时研发、数据服务功能升级,运维体验优化等,将满足更多用户场景,提升研发体验

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



功能升级亮点摘要

1、新增数据源

新增支持Hologres数据源类型,用于后续Hologres数据同步集成,及后续实时Blink任务读写使用。

对于使用Hologres数据源的用户来说,Dataphin支持从Hologres数据集成至计算引擎及多种数据源,同时可从计算引擎及数据源回流至Hologres;支持Blink任务实时读写Hologres数据,且在Dataphin流批一体场景中,Hologres可以用作批流一体的统一存储服务,实时查询实时写入,无冗余数据搬迁工作,大幅提升研发效率。



功能场景a. 数据源引入

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



功能场景b. 离线数据集成

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



功能场景c. 流批一体

  • 定义Hologres元表,指定数据源及来源表

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


  • 定义流批虚拟镜像表,指定镜像表映射的批流分别写入的物理表,由于Hologres同时支持离线与实时读写,因此两边物理表可以均为Hologres表

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


  • 创建Blink流批一体任务,指定批流参数配置及任务配置,代码逻辑一致,一套代码实现两种调度时效

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


  • Dataphin流批一体架构图

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



2、Blink实时任务支持代码采样调试

Blink实时任务支持代码采样调试,采样数据支持本地上传文件数据、在线抽样数据、在线编辑输入数据三种方式,仅兼容支持blink-3.6及以上版本。



升级前Blink任务不支持本地调试,无法在草稿态时验证作业开发的数据正确性,需要提交到运维后启动运维的测试实例进行验证,提交任务之前无法验证。



升级后在提交Blink任务之前可以进行本地数据采样,并在Console中输出任务运行结果,可以即时检查代码逻辑是否正确、输出结果是否符合预期等,验证正确再进行任务提交,有效保障了任务质量及开发效率。并且我们支持三种采样方式!自动抽样数据来源表数据、上传本地csv文件(提供样例可下载),或者直接在采样的面板中进行数据输入,灵活且方便。

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



3、运维列表展示对象拓展

运维列表每页展示对象拓展至100个,默认展示20/页,可切换20/40/60/80/100个/页;运维任务DAG图中支持查看物化代码及运行日志时自动定位到对应物化节点,提升运维效率

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

4、数据服务模块支持新离线数据源

数据服务模块新增支持AnalyticDB for MySQL 3.0 离线数据源。

新增数据服务管理员角色,作为API权限申请、服务单元权限申请及数据源权限申请的审批人,加强API数据服务出口的权限管控强度,限制API开发者本人对API的广泛应用权限,需设置专人进行权限审批,API应用安全及权限管控效力大幅增强。

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?


【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?



版本小结

本次5月发布的V2.9.4.2版本中,Dataphin围绕数据源、通用研发、实时研发、运维、数据服务进行功能迭代。

在下一期的迭代中,计划支持CDH 6计算引擎、审计日志、子账号下单购买、OpenAPI扩展、监控告警能力升级、MySQL8.0数据源等功能,敬请期待!



我想了解更多:https://dp.alibaba.com/consult




数据中台是企业数智化的必经之路,阿里巴巴认为数据中台是集方法论、工具、组织于一体的,“快”、“准”、“全”、“统”、“通”的智能大数据体系。

目前正通过阿里云对外输出系列解决方案,包括通用数据中台解决方案零售数据中台解决方案金融数据中台解决方案互联网数据中台解决方案政务数据中台解决方案等细分场景。

其中阿里云数据中台产品矩阵是以Dataphin为基座,以Quick系列为业务场景化切入,包括:

官方站点:

数据中台官网 https://dp.alibaba.com

钉钉沟通群和微信公众号

【产品动态】历经3年的打磨,数据构建及管理平台Dataphin增加了什么新功能?

上一篇:由金融服务中的智能机器人技术引发的种种思考


下一篇:探索 OpenStack 之(15):oslo.messaging 和 Cinder 中 MessageQueue 消息的发送和接收