DataWorks OpenAPI-表结构变更时触发任务变更

工欲善其数,必先利其器!

DataWorks OpenAPI现已正式发布,通过自带的100多个API 功能,可以快速进行批量操作与系统集成对接等,助您显著提升数据开发效率!

(DataWorks OpenAPI限企业版及以上版本使用)

DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

DataWorks OpenAPI-表结构变更时触发任务变更


随着大数据在企业内部使用越来越广泛,很多业务落地慢慢的都依赖大数据的产出结果做为基础,业务的发展遍地开花产生了越来越多的任务,这些任务之间相互依赖也就越来越复杂,慢慢的超过人为可视、可梳理范围;当上游的数据口径发生变更的时候,对下游业务的影响就会形成放射性,影响难以预料,这时候就急需有一种功能来辅助我们的运维人员一起梳理出整个受影响的业务范围,以防数据口径不一致引起资损、或提供错误的数据导致决策失误。

今天我们来描述一下怎么依赖DataWorks的开放平台中对外提供的Open API、OpenData、消息订阅的方式来完成一张表口径发生变更时怎么 来做下游任务的血缘分析、通知对应的开发、运维人员做出任务变更防止错误数据扩散。

DataWorks OpenAPI-表结构变更时触发任务变更

解决方案

  • DataWorks开发平台对企业版提供消息(支持SLS消息订阅)、Open API、OpenData三种方式,具体参照:https://workbench.data.aliyun.com/console?#/openPlatform
  • 消息目前支持表变更、任务变更等,企业版用户可以去对接表变更的消息,当接收到表变更的时候去查表的血缘关系(字段血缘表血缘);查询表的血缘也可以改成查询任务的血缘
  • 根据字段血缘或表血缘查到受影响的表的列表,根据表列表获取对应的表的产出任务(根据表获取产出信息
  • 根据获取到的任务ID获取指定的任务详情通知任务owner确认业务影响(获取任务详情


基于以上的血缘能力在做表、任务变更的时候能快速的通知到下游任务owner,防止第二天的任务出现异常;也能在第二天出现异常的时候快速定位到当天是有哪些任务口径变更导致业务受到影响。


DataWorks OpenAPI实战系列:

数据开发全流程介绍

DataWorks OpenAPI 示例(元数据模块)


DataWorks OpenAPI现开放7天免费试用,请使用钉钉扫码联系,提供试用账号的UID与Region即可。

提效神器,DataWorks OpenAPI开放7天免费试用!

DataWorks OpenAPI-表结构变更时触发任务变更

上一篇:《异构信息网络挖掘: 原理和方法》—— 2.3 NetClus算法


下一篇:【zabbix-nginx】zabbix web展示端只对内网ip开放