nn.ConvTranspose2d 逆卷积 反卷积

本文转摘于如下链接:
逆卷积的详细解释ConvTranspose2d(fractionally-strided convolutions) https://www.cnblogs.com/wanghui-garcia/p/10791328.html
pytorch官方手册:https://pytorch.org/docs/stable/nn.html?highlight=convtranspose#torch.nn.ConvTranspose2d
ConvTranspose2d

torch.nn.ConvTranspose2d(in_channels, out_channels, kernel_size, stride=1, padding=0, output_padding=0, groups=1, bias=True, dilation=1, padding_mode='zeros')

output_padding参数作用:https://www.cnblogs.com/wanghui-garcia/p/10791778.html


1.首先先定义进行卷积的参数:

输入特征图为高宽一样的Hin*Hin大小的x
卷积核大小kernel_size
步长stride
padding填充数(填充0)
输出特征图为Hout*Hout大小的y

计算式子为:

Hout = floor( Hin + 2*padding - kernel_size / stride) + 1

2.然后实现上面的卷积的转置卷积

定义其参数为:

输入特征图为高宽一样的Hout*Hout大小的y
卷积核大小kernel_size
步长stride
paddingnew 填充数(填充0)
输出特征图为Hin*Hin大小的x

逆卷积的过程主要分两步:

对输入的特征图y进行变换,得到新的特征图ynew

内部变换,与卷积时设置的stride相关
外部变换,与卷积时设置的padding相关

根据得到的特征图进行卷积即可

1)对输入的特征图y进行变换,得到新的特征图ynew

1》内部变换

当卷积时设置的stride>1时,将对输入的特征图y进行插值操作(interpolation)。

即需要在输入的特征图y的每个相邻值之间插入(stride-1)行和列0,因为特征图中能够插入的相邻位置有(height-1)个位置,所以此时得到的特征图的大小由HoutHout(Hout即height) 变为新的 Hout_newHout_new,即[Hout + (stride-1) * (Hout-1)] * [Hout + (stride-1) * (Hout-1)]

2》外部变换

为了实现由HoutHout大小的y逆卷积得到HinHin大小的x,还需要设置paddingnew的值为(kernel_size - padding - 1),这里的padding是卷积操作时设置的padding值

所以计算式子变为:

Hin = floor( [Hout_new + 2*paddingnew - kernel_size] / stride') + 1

⚠️该式子变换后,定义向下取整的分母stride'值为定值1

Hout_new和paddingnew的值代入上面的式子,即变为:

Hin = floor( Hout + (stride-1) * (Hout-1) + 2*(kernel_size - padding - 1) - kernel_size) + 1

化简为:

Hin = floor( (Hout - 1) * stride - 2*padding + kernel_size - 1) + 1

 = (Hout - 1) * stride - 2*padding + kernel_size

这样式子使的卷积Conv2d和逆卷积ConvTranspose2d在初始化时具有相同的参数,而在输入和输出形状方面互为倒数。

所以这个式子其实就是官网给出的式子:

可见这里没考虑output_padding

output_padding的作用:可见nn.ConvTranspose2d的参数output_padding的作用

3.下面举例说明

https://github.com/vdumoulin/conv_arithmetic#convolution-arithmetic

1)当stride=1时,就不会进行插值操作,只会进行padding,举例说明:

卷积操作为:

蓝色为输入特征图HinHin=44,绿色为输出特征图HoutHout=22,卷积核kernel_size=3, stride=1

根据式子Hout = floor( Hin + 2*padding - kernel_size / stride) + 1

可得padding=0
nn.ConvTranspose2d  逆卷积 反卷积

其对应的逆卷积操作为:

蓝色为输入特征图HoutHout=22,绿色为输出特征图HinHin=44,卷积核kernel_size=3, stride=1

卷积时的padding=0

将这些值代入上面的式子Hin = (Hout - 1) * stride - 2*padding + kernel_size

果然输入HoutHout=22能得到输出HinHin=44

变形过程为:

paddingnew = kernel_size - padding -1 = 3 -0 -1 = 2

所以可见下方的蓝色最后的大小为77 = Hout + 2paddingnew = 2 + 2*2 = 6
nn.ConvTranspose2d  逆卷积 反卷积

⚠️这里可见是有padding的,为什么定义是为no padding呢?

这是因为它对应的卷积操作的padding=0

1)当stride=2时,进行插值和padding操作,举例说明:

卷积操作为:

蓝色为输入特征图HinHin=55,绿色为输出特征图HoutHout=33,卷积核kernel_size=3, stride=2

根据式子Hout = floor( Hin + 2*padding - kernel_size / stride) + 1

可得padding=1
nn.ConvTranspose2d  逆卷积 反卷积

其对应的逆卷积操作为:

蓝色为输入特征图HoutHout=33,绿色为输出特征图HinHin=55,卷积核kernel_size=3,stride=2

卷积时的padding=1

将这些值代入上面的式子Hin = (Hout - 1) * stride - 2*padding + kernel_size

果然输入HoutHout=33能得到输出HinHin=55

变形操作为:

Hout_new = Hout + (stride-1) * (Hout-1) = 3 + (2-1)*(3-1) = 5

paddingnew = kernel_size - padding -1 = 3 -1 -1 = 1

所以可见下方的蓝色最后的大小为77 = Hout_new + 2paddingnew = 5 + 2*1 = 7
nn.ConvTranspose2d  逆卷积 反卷积

⚠️因为这里的逆卷积对应的卷积操作的padding= 1,所以这里不是no padding,而是padding

output_padding参数
output_padding参数
output_padding参数

使用前提:stride > 1

补充:same卷积操作

是通过padding使得卷积之后输出的特征图大小保持不变(相对于输入特征图),不代表得到的输出特征图的大小与输入特征图的大小完全相同,而是他们之间的比例保持为 输入特征图大小/输出特征图大小 = stride

举例:

比如输入特征图为66,stride=2, kernel_size = 3, 所以进行same卷机操作得输出特征图为33 (6/2 = 3)

如果输入特征图为55,stride=2,kernel_size = 3,这时候设置padding = 1,那么也会得到输出特征图为33

那么这样的情况就会导致在逆卷积时出现一个问题。

问题:

问题就是,不同大小的图片经过卷积运算能得到相同尺寸的输出,那么作为逆运算,同样的一张输入图像经过反卷积是否会有不同尺寸的合法输出?这样的话就存在争议了

上面还只是进行same卷积的情况,如果考虑valid卷积,stride=2, kernel_size = 3,padding=0时,输入特征图为77和88的结果也是3*3

解决争议的办法就是使用output_padding参数

output_padding的作用是:

当stride > 1时,Conv2d将多个输入形状映射到相同的输出形状。output_padding通过在一边有效地增加计算出的输出形状来解决这种模糊性。

首先我们要认同一个前提:

大多数情况下我们都希望经过卷积/反卷积处理后的图像尺寸比例与步长相等,即输入特征图大小/输出特征图大小 = stride,也就是same模式。

所以我们只要通过添加output_padding这一参数来使得结果满足这一前提,那么输出的图片的大小就能够保证为输入图片*stride的大小,而不是任意可能的大小

实现办法:

因为pytorch将参数padding(注意与output_padding区别)建议设置为(kernel_size - 1)/2,由式子padding= kernel - 1 - padding转换而来

那么根据式子:

当我们希望得到输入特征图大小/输出特征图大小 = stride的话,代入上面的式子能够得到结果:

padding = (kernel_size - stride + output_padding )/2

所以为了让padding = (kernel_size - 1)/2,则output_padding应该取值为stride - 1,这样就能够满足输入特征图大小/输出特征图大小 = stride

当然,你可以取别的值,这并不会影响到逆卷积的计算,但是在后面进行有关大小的操作时就很可能出现问题,因为输出的图片的大小并不能保证是 输入图片stride的大小,可能是任意正确的大小,如上面举的例子,可能是77或8*8等

上一篇:卷积和反卷积详细说明


下一篇:聚合搜索推荐 - 氪主页