对Pytorch中backward()函数的理解

backward()

写在第一句:
这个博客解释的也很好,参考了很多:Pytorch中的自动求导函数backward()所需参数含义

所以切入正题:
backward()函数中的参数应该怎么理解?

官方:如果需要计算导数,可以在Tensor上调用.backward()。		
 1. 如果Tensor是一个标量(即它包含一个元素的数据),则不需要为backward()指定任何参数
 2. 但是如果它有更多的元素,则需要指定一个gradient参数,它是形状匹配的张量。

先看看官方怎么解释的

backward(gradient=None, retain_variables=False)[source]

当前Variable(理解成函数Y)对leaf variable(理解成变量X=[x1,x2,x3])求偏导。

计算图可以通过链式法则求导。如果Variable是 非标量(non-scalar)的(即是说Y中有不止一个y,即Y=[y1,y2,…]),且requires_grad=True。那么此函数需要指定gradient,它的形状应该和Variable的长度匹配(这个就很好理解了,gradient的长度体与Y的长度一直才能保存每一个yi的梯度值啊),里面保存了Variable的梯度。

此函数累积leaf variable的梯度。你可能需要在调用此函数之前将Variable的梯度置零。(梯度不置零的话为出现累加

参数:

  1. gradient (Tensor) – 其他函数对于此Variable的导数。仅当Variable不是标量的时候使用,类型和位形状应该和self.data一致。
    (补充:这里说的时其他函数对Variable的导数!)
  2. retain_variables (bool) – True, 计算梯度所必要的buffer在经历过一次backward过程后不会被释放。如果你想多次计算某个子图的梯度的时候,设置为True。在某些情况下,使用autograd.backward()效率更高。

情况1:out是一个标量(就是说一个输出值)

    '''情况1:out是一个标量(就是说一个输出值)'''
b=a+3
c=b*3
out=c.mean()
out.backward()
print('input:',a.data)
print('input gradients are:',a.grad)
print(a.numel()) #返回元素个数,所以c关于a的导数应该是[(a+3)*3]/6 就是0.5
输出结果:
input: tensor([[1., 1., 1.],
        [1., 1., 1.]])
input gradients are: tensor([[0.5000, 0.5000, 0.5000],
        [0.5000, 0.5000, 0.5000]])
6

这就是最简单的情况

情况2:out是一个向量(就是说输出一列值)

a=t.ones(2,1,requires_grad=True)
b=t.zeros(2,1)
b[0,0]=a[0,0]**2+a[1,0]*5
b[1,0]=a[0,0]**3+a[1,0]*4

接下来开始尝百草:

'''try 1'''
b.backward() #什么参数也不说
print(a.grad)
不出意外,得到错误:
RuntimeError: grad can be implicitly created only for scalar outputs

错误提示:只能对标量进行求梯度操作,这个错误和官方的文档标注一样:当输出为向量时,需要输入一个gradient

'''try 2'''
上一篇:PHP curl get post请求


下一篇:PyTorch中的C++扩展