写算子单元测试Writing Unit Tests!

写算子单元测试Writing Unit Tests!

一些单元测试示例,可在tests/python/relay/test_op_level3.py中找到,用于累积总和与乘积算子。

梯度算子

梯度算子对于编写Relay中的可微程序非常重要。虽然Relay的autodiff算法可区分一流的语言结构,但算子是不透明的。Relay无法查看实现,必须提供明确的差异化规则。

Python和C++都可编写梯度算子,但是,示例集中在Python上,更常用。

在Python中添加梯度

Python梯度算子的集合可在Python/tvm/relay/op/_tensor_grad.py中找到。将介绍两个具有代表性的示例:sigmoid和multiply。

@register_gradient("sigmoid")

def sigmoid_grad(orig,grad):

    """Returns [grad * sigmoid(x) * (1 - sigmoid(x))]."""

    return [grad * orig * (ones_like(orig) - orig)]

 这里的输入是原始算子orig和要累加的梯度。返回的是一个列表,第i个索引处的元素是算子相对于算子第i个输入的导数。通常,梯度将返回一个列表,包含的元素数量与基本算子的输入数量相同。

进一步分析这个定义前面,首先回顾一下sigmoid函数的导数:

上面的定义类似于数学定义,但有一个重要的补充,将在下面描述。

术语orig*(类似于(orig)-orig)直接匹配导数,这里的orig是sigmoid函数,但不只是对如何计算这个函数的梯度感兴趣。将这个梯度与其它梯度组合起来,这样就可在整个程序中累积梯度。

 写算子单元测试Writing Unit Tests!

 

 这就是梯度术语的意义所在。在表达式grad*orig*(one_like(orig)-orig)中,乘以grad,表示如何使用到目前为止的梯度合成导数。

现在,考虑乘法,一个稍微有趣的示例:

@register_gradient("multiply")

def multiply_grad(orig,grad):

    """Returns [grad * y,grad * x]"""

    x,y=orig.args

    return [collapse_sum_like(grad * y,x),

            collapse_sum_like(grad * x,y)]

 

在本例中,返回的列表中有两个元素,multiply是一个二进制算子。回想一下,如果写算子单元测试Writing Unit Tests!

 

 ,偏导数是

 写算子单元测试Writing Unit Tests!

 

 有一个乘法所需的步骤,对于sigmoid不是必需的,乘法具有广播语义。梯度的shape可能与输入的shape不匹配,使用collapse_sum_like来获取梯度grad * <var>项的内容,使shape与要区分的输入的shape匹配。

Adding a Gradient in C++

在C++中添加一个梯度,类似于在Python中添加,但是,用于注册的接口略有不同。

首先,确保包含src/relay/transforms/pattern_utils.h。提供了用于在RelayAST中创建节点的 helper函数。然后,类似于Python示例的方式,定义梯度:

tvm::Array<Expr> MultiplyGrad(const Expr& orig_call,const Expr& output_grad) {

    const Call& call=orig_call.Downcast<Call>();

    return { CollapseSumLike(Multiply(output_grad,call.args[1]),call.args[0]),

             CollapseSumLike(Multiply(output_grad,call.args[0]),call.args[1]) };

}

在C++中,不能使用Python中的算子重载,需要进行downcast,实现更加冗长。即使如此,可容易地验证这个定义,是否反映了Python中的早期示例。

现在,不需要使用Python装饰器,需要在基础算子的注册末尾,添加一个对“FPrimalGradient”的set_attr调用,注册梯度。

RELAY_REGISTER_OP("multiply")
    // ...
    // Set other attributes
    // ...
    .set_attr<FPrimalGradient>("FPrimalGradient",MultiplyGrad);

 

 

参考链接:

https://tvm.apache.org/docs/dev/relay_add_op.html

TVM源码研习 — TVM中的IR设计与技术实现

上一篇:个人项目-论文查重


下一篇:渗透中常用的dos命令