Dataworks调度能力升级——分支节点

2021-10-01 01:15:29

分支节点登场

在日常Dataworks的使用过程中，经常会有同学遇到如下的问题：我有一个节点，需要每个月的最后一天执行，应该如何设置？

这种情况我们一般的回复是：由于cron表达式无法表达这种场景，所以暂时无法支持。

但是，现在我们有了分支节点，它让我们可以套用switch-case的编程模型来搞定这个问题。下面有请分支节点和他的小兄弟们粉墨登场！！！

分支节点的兄弟们

现在打开“数据开发”页面，可以看到“控制节点”一栏多了几个新面孔，先来一张合影：

他们分别是：

能把自己的结果传给下游的赋值节点 —— 赋值节点复用了节点上下文依赖的特性，在已有常量/变量两种上下文的基础上，赋值节点自带一种自定义的上下文输出。Dataworks会捕获赋值节点的select结果或者打印结果，把这个结果以outputs作为上下文输出参数的值供下游节点引用。
能决定哪些下游正常执行的分支节点 —— 分支节点复用了Dataworks上挂依赖的输入输出的特性，对于普通节点，节点的输出仅仅是一个全局唯一的字符串。当下游需要挂依赖时，搜索这个全局唯一的字符串作为节点的输入就能挂到下游节点列表中。但是对于分支节点，我们可以给每个输出关联一个条件，当下游挂依赖时可以选择性的把某一个条件关联的输出作为当前节点的输出。这样达到的效果时，在成为分支节点下游的同时，也关联到了分支节点的条件上：即满足了这个条件，这个输出对应的下游才会被正常执行；其他为满足条件的输出对应的下游会被置为空跑。
无论上游是否正常执行本身都会正常调度的归并节点 —— 对于未被分支节点选中的分支，Dataworks会把这个分支链路上所有的节点实例均置为空跑实例，也就是说一旦某个实例的上游有一个实例是空跑的话，它本身也会变为空跑。我们添加了归并节点来阻止这个空跑的属性无限制的传递下去，对于归并节点实例，无论它的上游有多少个空跑的实例它都会直接成功并且不会再把下游置为空跑。

下面这张图可以示意在有分支节点的情况下，依赖树会变成什么样

ASN：一个赋值节点，它可以对比较复杂的情况做计算，为分支节点条件选择做准备
X/Y：分支节点，他们挂在赋值节点ASN下面，根据赋值节点的输出做分支的选择。如图，X 节点选择了左边的分支、Y节点选择了左边两个分支
- A/C节点由于挂在了X/Y节点被选择的输出下面，因此正常执行
- B节点虽然挂在了Y节点被选择的分支下面，但由于X节点未选择这个输出，因此B节点被置为空跑
- E节点由于未被Y节点选中，因此即使有一个普通的Z节点上游，也同样被置为了空跑
- G节点由于上游E节点空跑，因此即使C/F都正常执行，E节点同样把空跑
- 至于空跑属性什么情况下才能不再向下传递呢？看JOIN节点，这是一个归并节点，它的特殊功能就是停止空跑属性的传递，可以看到由于D节点挂在了JOIN节点下面，因此B节点的空跑属性被阻断了，D开始正常跑了

好了分支节点的兄弟们已经介绍完毕，接下来看他们通力合作，解决某个节点只有每个月最后一天跑场景。