pytorch-微分

文章目录

引言

在训练神经网络时,最常用的算法是 反向传播。在该算法中,参数(模型权重)根据损失函数相对于给定参数的梯度进行调整。

为了计算这些梯度,PyTorch 有一个名为 的内置微分引擎torch.autograd。它支持任何计算图的梯度自动计算。

主要用到的包和类:

  • autograd
  • torch.Tensor
    • torch.Tensor 是包的核心类。如果将其属性 .requires_grad 设置为 True,则会开始跟踪针对 tensor的所有操作。
    • backward() 来自动计算所有梯度
    • detach()停止 tensor 历史记录的跟踪
    • 要停止跟踪历史记录(和使用内存),您还可以将代码块使用 with torch.no_grad(): 包装起来

如果你想计算导数,你可以调用 Tensor.backward()。如果 Tensor 是标量(即它包含一个元素数
据),则不需要指定任何参数backward(),但是如果它有更多元素,则需要指定一个gradient 参数
来指定张量的形状。

注意:一个类对于 autograd 实现非常重要那就是 Function。Tensor 和 Function 互相连接并构建一
个非循环图,它保存整个完整的计算过程的历史信息。每个张量都有一个 .grad_fn 属性保存着创
建了张量的 Function 的引用,(如果用户自己创建张量,则grad_fn 是 None)

一些小测试

创建一个张量,设置 requires_grad=True 来跟踪与它相关的计算

import torch
x = torch.ones(2, 2, requires_grad=True)
print(x)
y = x + 2
print(y) # 观察到grad_fn 存在且不为None
tensor([[1., 1.],
        [1., 1.]], requires_grad=True)
tensor([[3., 3.],
        [3., 3.]], grad_fn=<AddBackward0>)
z = y * y * 3
out = z.mean()
print(z, out)
tensor([[27., 27.],
        [27., 27.]], grad_fn=<MulBackward0>) tensor(27., grad_fn=<MeanBackward0>)

小tip:requires_grad_( … ) 会改变张量的 requires_grad 标记。输入的标记默认为 False ,如果没有提供相应的参数。

a = torch.randn(2, 2)
a = ((a * 3) / (a - 1))
print(a.requires_grad)
a.requires_grad_(True)
print(a.requires_grad)
b = (a * a).sum()
print(b.grad_fn)
False
True
<SumBackward0 object at 0x0000013BF769FDF0>

梯度

我们现在后向传播,因为输出包含了一个标量,out.backward() 等同于 out.backward(torch.tensor(1.))。

out.backward()
print(x.grad)
tensor([[4.5000, 4.5000],
        [4.5000, 4.5000]])

梯度下降的实战例子-考虑最简单的一层神经网络

具有输入x、参数w和b,以及一些损失函数。它可以通过以下方式在 PyTorch 中定义:
import torch

x = torch.ones(5)  # input tensor
y = torch.zeros(3)  # expected output
w = torch.randn(5, 3, requires_grad=True)
b = torch.randn(3, requires_grad=True)
z = torch.matmul(x, w)+b
loss = torch.nn.functional.binary_cross_entropy_with_logits(z, y)

在这个网络中,w和b是我们需要优化的参数。因此,我们需要能够计算关于这些变量的损失函数的梯度。为了做到这一点,我们为w,b设置了requires_grad=True属性。

我们应用于张量以构建计算图的函数实际上是类的对象Function。该对象知道如何在前向计算函数,以及如何在反向传播步骤中计算其导数。对反向传播函数的引用存储在grad_fn张量的属性中。

print('Gradient function for z =', z.grad_fn)
print('Gradient function for loss =', loss.grad_fn)
Gradient function for z = <AddBackward0 object at 0x0000013BF02FF2E0>
Gradient function for loss = <BinaryCrossEntropyWithLogitsBackward0 object at 0x0000013BF02FF8B0>

计算梯度
为了优化神经网络中参数的权重,我们需要计算损失函数关于参数的导数,即我们需要 ∂ l o s s ∂ w \frac{\partial loss}{\partial w} ∂w∂loss​ 和 ∂ l o s s ∂ b \frac{\partial loss}{\partial b} ∂b∂loss​ 下的一些固定值 x和y。为了计算这些导数,我们调用 loss.backward(),然后从w.grad和 中 检索值b.grad:

loss.backward()
print(w.grad)
print(b.grad)
tensor([[0.0853, 0.0053, 0.2184],
        [0.0853, 0.0053, 0.2184],
        [0.0853, 0.0053, 0.2184],
        [0.0853, 0.0053, 0.2184],
        [0.0853, 0.0053, 0.2184]])
tensor([0.0853, 0.0053, 0.2184])

张量梯度和雅可比积

在很多情况下,我们有一个标量损失函数,我们需要计算一些参数的梯度。但是,有些情况下输出函数是任意张量。在这种情况下,PyTorch 允许您计算所谓的Jacobian 乘积,而不是实际的梯度。

对于向量函数 y ⃗ = f ( x ⃗ ) \vec{y}=f\left( \vec{x} \right) y ​=f(x ),其中 x ⃗ = < x 1 , . . . , x n > \vec{x}=\left< x_1,...,x_n \right> x =⟨x1​,...,xn​⟩ , y ⃗ = < y 1 , . . . , y m > \vec{y}=\left< y_1,...,y_m \right> y ​=⟨y1​,...,ym​⟩,利用 Jacobian matrix给出 y ⃗ \vec{y} y ​关于 x ⃗ \vec{x} x 的偏导:
  J = ( ∂ y 1 ∂ x 1 ⋯ ∂ y 1 ∂ x n ⋮ ⋱ ⋮ ∂ y m ∂ x 1 ⋯ ∂ y m ∂ x n ) \ J=\left( \begin{matrix} \frac{\partial y_1}{\partial x_1}& \cdots& \frac{\partial y_1}{\partial x_n}\\ \vdots& \ddots& \vdots\\ \frac{\partial y_m}{\partial x_1}& \cdots& \frac{\partial y_m}{\partial x_n}\\ \end{matrix} \right)  J=⎝⎜⎛​∂x1​∂y1​​⋮∂x1​∂ym​​​⋯⋱⋯​∂xn​∂y1​​⋮∂xn​∂ym​​​⎠⎟⎞​

PyTorch 允许您对于给定的输入向量 v ⃗ = < v 1 , . . . , v m > \vec{v}=\left< v_1,...,v_m \right> v =⟨v1​,...,vm​⟩计算雅可比乘积 v T ⋅ J v^T\cdot J vT⋅J,而不是计算雅可比矩阵本身。这是通过使用v作为参数向后调用来实现的。(v的大小应该和原始张量的大小相同,我们要用它来计算乘积):

inp = torch.eye(5, requires_grad=True)
out = (inp+1).pow(2)
out.backward(torch.ones_like(inp), retain_graph=True)
print("First call\n", inp.grad)
out.backward(torch.ones_like(inp), retain_graph=True)
print("\nSecond call\n", inp.grad)
inp.grad.zero_()
out.backward(torch.ones_like(inp), retain_graph=True)
print("\nCall after zeroing gradients\n", inp.grad)
First call
 tensor([[4., 2., 2., 2., 2.],
        [2., 4., 2., 2., 2.],
        [2., 2., 4., 2., 2.],
        [2., 2., 2., 4., 2.],
        [2., 2., 2., 2., 4.]])

Second call
 tensor([[8., 4., 4., 4., 4.],
        [4., 8., 4., 4., 4.],
        [4., 4., 8., 4., 4.],
        [4., 4., 4., 8., 4.],
        [4., 4., 4., 4., 8.]])

Call after zeroing gradients
 tensor([[4., 2., 2., 2., 2.],
        [2., 4., 2., 2., 2.],
        [2., 2., 4., 2., 2.],
        [2., 2., 2., 4., 2.],
        [2., 2., 2., 2., 4.]])
上一篇:C++20 Concept(概念)语法简介


下一篇:vue搭建脚手架 出现问题Command vue init requires a global addon to be installed.