Dataworks坑记——小时级别依赖数据丢失问题

问题描述

A 小时级任务 (一天有24个节点) ,A依赖上游B , B 30分钟级任务(一天有48个节点),我们期望应该是一个节点依赖2个,但是第一个只依赖一个节点导致丢数据。

B调度配置如图:

Dataworks坑记——小时级别依赖数据丢失问题

A调度配置如图

Dataworks坑记——小时级别依赖数据丢失问题

依赖关系

A依赖上游B
Dataworks坑记——小时级别依赖数据丢失问题

产出依赖关系

图上时间为定时时间
Dataworks坑记——小时级别依赖数据丢失问题
就依赖结果:
产出依赖是向前就近关联,不存在跨天依赖的情况

期望依赖关系

Dataworks坑记——小时级别依赖数据丢失问题

解决办法

调整任务A调度时间
调度时间 大于 依赖的最晚节点的时间加上节点执行时间。
(0点35任务A节点) > (0点30任务B节点)+ (小于1分钟)
Dataworks坑记——小时级别依赖数据丢失问题

执行结果

最后执行结果符合预期,图上时间为定时时间
Dataworks坑记——小时级别依赖数据丢失问题

上一篇:标记(TAG)您的API网关资源


下一篇:Git工程实践(二)多账号配置