小白学PyTorch 动态图与静态图的浅显理解

文章来自公众号【机器学习炼丹术】,回复“炼丹”即可获得海量学习资料哦!

本章节缕一缕PyTorch的动态图机制与Tensorflow的静态图机制(最新版的TF也支持动态图了似乎)。

1 动态图的初步推导

  • 计算图是用来描述运算的有向无环图
  • 计算图有两个主要元素:结点(Node)和边(Edge);
  • 结点表示数据 ,如向量、矩阵、张量;
  • 边表示运算 ,如加减乘除卷积等;

小白学PyTorch 动态图与静态图的浅显理解

上图是用计算图表示:

\(y=(x+w)∗(w+1)y=(x+w)∗(w+1)\)

其中呢,\(a=x+w\) ,\(b=w+1\) , \(y=a∗b\). (a和b是类似于中间变量的那种感觉。)

Pytorch在计算的时候,就会把计算过程用上面那样的动态图存储起来。现在我们计算一下y关于w的梯度:

\(\frac{\partial y}{\partial w} = \frac{\partial y}{\partial a} \frac{\partial a}{\partial w} + \frac{\partial y}{\partial b} \frac{\partial b}{\partial w}\)

\(=2\times w + x + 1=5\)

(上面的计算中,w=1,x=2)

现在我们用Pytorch的代码来实现这个过程:

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True) a = w+x
b = w+1
y = a*b y.backward()
print(w.grad)

得到的结果:

小白学PyTorch 动态图与静态图的浅显理解

2 动态图的叶子节点

小白学PyTorch 动态图与静态图的浅显理解

这个图中的叶子节点,是w和x,是整个计算图的根基。之所以用叶子节点的概念,是为了减少内存,在反向传播结束之后,非叶子节点的梯度会被释放掉 , 我们依然用上面的例子解释:

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True) a = w+x
b = w+1
y = a*b y.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad)

运行结果是:

小白学PyTorch 动态图与静态图的浅显理解

可以看到只有x和w是叶子节点,然后反向传播计算完梯度后(.backward()之后),只有叶子节点的梯度保存下来了。

当然也可以通过.retain_grad()来保留非任意节点的梯度值。

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True) a = w+x
a.retain_grad()
b = w+1
y = a*b y.backward()
print(w.is_leaf,x.is_leaf,a.is_leaf,b.is_leaf,y.is_leaf)
print(w.grad,x.grad,a.grad,b.grad,y.grad)

运行结果:

小白学PyTorch 动态图与静态图的浅显理解

3. grad_fn

torch.tensor有一个属性grad_fn,grad_fn的作用是记录创建该张量时所用的函数,这个属性反向传播的时候会用到。例如在上面的例子中,y.grad_fn=MulBackward0,表示y是通过乘法得到的。所以求导的时候就是用乘法的求导法则。同样的,a.grad=AddBackward0表示a是通过加法得到的,使用加法的求导法则。

import torch
w = torch.tensor([1.],requires_grad = True)
x = torch.tensor([2.],requires_grad = True) a = w+x
a.retain_grad()
b = w+1
y = a*b y.backward()
print(y.grad_fn)
print(a.grad_fn)
print(w.grad_fn)

运行结果是:

小白学PyTorch 动态图与静态图的浅显理解

叶子节点的.grad_fn是None。

4 静态图

两者的区别用一句话概括就是:

  • 动态图:pytorch使用的,运算与搭建同时进行;灵活,易调节。
  • 静态图:老tensorflow使用的,先搭建图,后运算;高效,不灵活。

静态图我们是需要先定义好运算规则流程的。比方说,我们先给出

\(a = x+w\) , \(b=w+1\) , \(y=a\times b\)

然后把上面的运算流程存储下来,然后把w=1,x=2放到上面运算框架的入口位置进行运算。而动态图是直接对着已经赋值的w和x进行运算,然后变运算变构建运算图。

在一个课程http://cs231n.stanford.edu/slides/2018/cs231n_2018_lecture08.pdf中的第125页,有这样的一个对比例子:

小白学PyTorch 动态图与静态图的浅显理解

这个代码是Tensorflow的,构建运算的时候,先构建运算框架,然后再把具体的数字放入其中。整个过程类似于训练神经网络,我们要构建好模型的结构,然后再训练的时候再吧数据放到模型里面去。又类似于在旅游的时候,我们事先定要每天的行程路线,然后每天按照路线去行动。

小白学PyTorch 动态图与静态图的浅显理解

动态图呢,就是直接对数据进行运算,然后动态的构建出运算图。很符合我们的运算习惯。

两者的区别在于,静态图先说明数据要怎么计算,然后再放入数据。假设要放入50组数据,运算图因为是事先构建的,所以每一次计算梯度都很快、高效;动态图的运算图是在数据计算的同时构建的,假设要放入50组数据,那么就要生成50次运算图。这样就没有那么高效。所以称为动态图

动态图虽然没有那么高效,但是他的优点有以下:

  1. 更容易调试。
  2. 动态计算更适用于自然语言处理。(这个可能是因为自然语言处理的输入往往不定长?)
  3. 动态图更面向对象编程,我们会感觉更加自然。
上一篇:Deeplearning——动态图 vs. 静态图


下一篇:MVC3学习:利用mvc3+ajax实现登录