『PyTorch x TensorFlow』第八弹_基本nn.Module层函数

『TensorFlow』网络操作API_上

『TensorFlow』网络操作API_中

『TensorFlow』网络操作API_下

之前也说过,tf 和 t 的层本质区别就是 tf 的是层函数,调用即可,t 的是类,需要初始化后再调用实例(实例都是callable的)

卷积

tensorflow.nn.conv2d

import tensorflow as tf

sess = tf.Session()
input = tf.Variable(tf.random_normal([1,3,3,5])) # 卷积核尺寸*2,输入通道,输出通道,
filter = tf.Variable(tf.random_normal([1,1,5,1])) # 《-----卷积核初始化 conv = tf.nn.conv2d(input, filter, strides=[1, 1, 1, 1], padding='VALID') sess.run(tf.global_variables_initializer())
print(sess.run(conv).shape)
(1, 3, 3, 1)

torch.nn.Conv2d

troch集成了初始化核的部分,所以自行初始化时需要直接修改变量的data

本篇很多例子中都对module的属性直接操作,其大多数是可学习参数,一般会随着学习的进行而不断改变。实际使用中除非需要使用特殊的初始化,应尽量不要直接修改这些参数。

import torch as t
input = t.normal(means=t.zeros([1,5,3,3]), std=t.Tensor([0.1]).expand([1,5,3,3]))
input = t.autograd.Variable(input) # 输入通道,输出通道,卷积核尺寸,步长,是否偏执
conv = t.nn.Conv2d(5, 1, (1, 1), 1, bias=False) # 输出通道,输入通道,卷积核尺寸*2
print([n for n,p in conv.named_parameters()])
conv.weight.data = t.ones([1,5,1,1]) # 《-----卷积核初始化,可有可无 out = conv(input)
print(out.size())
['weight']
torch.Size([1, 1, 3, 3])

池化

tensorflow.nn.avg_pool

torch.nn.AvgPool2d

可以验证没有学习参数

pool = nn.AvgPool2d(2,2)
list(pool.parameters())
[]

线性

torch.nn.Linear

# 输入 batch_size=2,维度3
input = V(t.randn(2, 3))
linear = nn.Linear(3, 4)
h = linear(input)
print(h)
Variable containing:
-1.4189 -0.2045 1.2143 -1.5404
0.8471 -0.3154 -0.5855 0.0153
[torch.FloatTensor of size 2x4]

BatchNorm

『TensorFlow』批处理类

torch.nn.BatchNorm1d

BatchNorm:批规范化层,分为1D、2D和3D。除了标准的BatchNorm之外,还有在风格迁移中常用到的InstanceNorm层。

# 4 channel,初始化标准差为4,均值为0
bn = nn.BatchNorm1d(4)
print([n for n,p in bn.named_parameters()])
bn.weight.data = t.ones(4) * 4
bn.bias.data = t.zeros(4) bn_out = bn(h)
# 注意输出的均值和方差
# 方差是标准差的平方,计算无偏方差分母会减1
# 使用unbiased=False 分母不减1
bn_out.size(), bn_out.mean(0), bn_out.var(0, unbiased=False)
['weight', 'bias']
(torch.Size([2, 4]), 

 Variable containing:
1.00000e-06 *
0.0000
-1.0729
0.0000
0.1192
[torch.FloatTensor of size 4], Variable containing:
15.9999
15.9481
15.9998
15.9997
[torch.FloatTensor of size 4])

Dropout

tensorflow.nn.dropout

torch.nn.Dropout

dropout层,用来防止过拟合,同样分为1D、2D和3D。 下面通过例子来说明它们的使用。

 # 每个元素以0.5的概率舍弃
dropout = nn.Dropout(0.5)
o = dropout(bn_out)
o # 有一半左右的数变为0
Variable containing:
-7.9895 -7.9931 7.9991 7.9973
0.0000 0.0000 -7.9991 -7.9973
[torch.FloatTensor of size 2x4]

激活函数

PyTorch实现了常见的激活函数,其具体的接口信息可参见官方文档^3,这些激活函数可作为独立的layer使用。这里将介绍最常用的激活函数ReLU,其数学表达式为:

『PyTorch x TensorFlow』第八弹_基本nn.Module层函数

relu = nn.ReLU(inplace=True)
input = V(t.randn(2, 3))
print(input)
output = relu(input)
print(output) # 小于0的都被截断为0
# 等价于input.clamp(min=0)
Variable containing:
-0.8472 1.0046 0.7245
0.3567 0.0032 -0.5200
[torch.FloatTensor of size 2x3] Variable containing:
0.0000 1.0046 0.7245
0.3567 0.0032 0.0000
[torch.FloatTensor of size 2x3]

有关inplace:

ReLU函数有个inplace参数,如果设为True,它会把输出直接覆盖到输入中,这样可以节省内存/显存。之所以可以覆盖是因为在计算ReLU的反向传播时,只需根据输出就能够推算出反向传播的梯度。但是只有少数的autograd操作支持inplace操作(如variable.sigmoid_()),除非你明确地知道自己在做什么,否则一般不要使用inplace操作。

交叉熵

import torch as t
from torch.autograd import Variable as V score = V(t.randn(3,2))
label = V(t.Tensor([1,0,1])).long()
loss_fn = t.nn.CrossEntropyLoss()
loss = loss_fn(score,label)
print(loss)

Variable containing:
 1.3535
[torch.FloatTensor of size 1]

损失函数和nn.Module的其他class没什么不同,不过实际使用时往往单独提取出来(书上语)。

ReLU(x)=max(0,x)
上一篇:C++程序设计-面向对象


下一篇:[模板] Kruskal算法 && 克鲁斯卡尔重构树