每一个账号在DataWorks上都会分配到一批调度资源,但由于DataWorks产品本身还在公测中,没法做到无限制的对大家开放调度资源,那么调度资源不足的话,可以尝试如下方法。
将任务错开时间段运行
在进行数据开发时,经常会遇到离线调度,凌晨的1-3点也是离线任务的运行高峰,那么在任务运行的高峰期,DataWorks上的调度资源也是很紧张的,大家如果不想出现任务堆积、等待的情况,可以将不重要的任务的起调时间设置的晚一点,让任务的运行时间错开集群任务运行的高峰期。
如何精准判断调度资源情况
任务并发执行数已达上限,正在等待在云端的gateway资源
在DataWorks 中运行的任务如果遇到了任务并发执行数已达上限,正在等待在云端的gateway资源... 等报错信息,可以带上项目名,项目所属region,节点id等信息,工单反馈给我们。
同步任务一直在wait....
若同步任务一直在wait,那么需要看看任务运行的所在资源组(具体的识别方法,可参考下一节内容),是在自定义资源组上还是在默认资源组上,若在默认资源组上的话,可能是同步任务的运行资源不足导致的,这时候可以在数据集成界面,新增资源组。新增资源组的操作可参考《新增调度资源》文档。
新增完资源组后,可以选择将任务运行在自定义资源组上。
注:DMU的配置,一般不要超过5,可根据任务需要传输的数据量大小,将DMU设置为1-5之间即可。
如何识别同步任务运行所属的资源组
同步任务运行所在的资源组需要通过任务运行的日志进行识别,大家可以参考这篇文档《同步任务日志排查》中,任务是从哪里开始的 部分。
job queueing
若SQL任务中运行时,出现了job queueing的日志,可带上日志中的logview,工单反馈。job queueing一般是MaxCompute的计算资源不足导致的,通常情况下,可以去购买CU资源,来保障任务的运行资源。
期望这篇文章能让您了解如何有效的解决资源不足的情况,我是彭敏,更多与DataWorks有关的内容,可以加入我们的钉钉群:DataWorks数加交流0群(群号:11718465)。
也可以钉钉扫码加群: