卷积和反卷积详细说明

2024-03-14 19:51:53

转载:https://zhuanlan.zhihu.com/p/124626648

转载：https://www.cnblogs.com/wanghui-garcia/p/10791328.html

1. 卷积 Convolution

1.1 卷积输出尺寸

输出图像尺寸可以根据以下公式获得

$o = \frac{i+2p-k}{s} +1$

$i$ ：输入图像尺寸
$p$ : padding 大小
$k$ : 卷积核大小
$s$ : 步长

卷积：蓝色的输入图片（4 x4）,深蓝色代表卷积核（3 x 3）,绿色为输出图像（2 x 2）

假如现在有一个4 x 4的图片, 使用一个3 x 3的kernel 进行卷积

图片： $I = \begin{equation} \left[\begin{array}{llll}x_{1} & x_{2} & x_{3} & x_{4} \\ x_{5} & x_{6} & x_{7} & x_{8} \\ x_{9} & x_{10} & x_{11} & x_{12} \\ x_{13} & x_{14} & x_{15} & x_{16}\end{array}\right] \end{equation}$ 卷积核： $\begin{equation} \left[\begin{array}{lll}w_{0,0} & w_{0,1} & w_{0,2} \\ w_{1,0} & w_{1,1} & w_{1,2} \\ w_{2,0} & w_{2,1} & w_{2,2}\end{array}\right] \end{equation}$

strides = 1 , padding = 0, 卷积后，输出图像的尺寸为 $2 \times 2$

如果卷积核很大，那么可以使用傅里叶变换, 提升卷积的性能。

2. 反卷积 Transposed Convolution

由于卷积核一般比原始图像小，所以卷积之后的图像尺寸往往会变小。有时候我们需要将卷积后的图像还原成原始图像的尺寸，即实现图像从小分辨率到大分辨率的映射，这种操作就叫做上采样（Upsampling）。而反卷积正是一种上采样方法。

反卷积，又称为转置卷积（Transposed Convolution,），它是一种特殊的卷积，先padding来扩大图像尺寸，紧接着跟正向卷积一样，旋转卷积核180度，再进行卷积计算。看上去就像，已知正向卷积的输出图像，卷积核，得到正向卷积中的原始图像（并非真的得到原始图像，像素点是不一样的，但是尺寸是一致的）。

它看上去像是正向卷积的逆运算，但其实并不是。因为反卷积只能还原原始图像的尺寸，但是并不能真的恢复原始图像内容，即每个元素值其实是不一样的。

卷积过程中：

$o$ 表示输出， $i$ 表示输入， $k$ :表示kernel的大小， $p$ ：表示padding, $s$ : 表达strides

反卷积过程中：

$o^{'}$ 表示输出， $i^{'}$ 表示输入， $k^{'}$ :表示kernel的大小， $p^{'}$ ：表示padding, $s^{'}$ : 表达strides

卷积后的 $o$ 则反卷积的 $i^{'}$ , 一般卷积核是不会变的， $k=k^{'}$ ，需要注意的是，卷积与反卷积的padding很可能是不一样。

2.1 Striding

反卷积的Striding跟卷积有点不一样，它在输入的每个元素之间插入 $s^{'} -1$ 个值为0的元素

Transposed convolution : Striding

如果我们将反卷积看成是一种特殊的卷积，它其实是根据反卷积中指定的步长strides, 修改了输入 $i^{'}$ , 根据strding 进行补0操作，得到 $I_s$ , 其大小变为 $i^{'}_s = i^{'} + (s^{'}-1)\times(i^{'}-1)$ , 然后对 $I_s$ 进行s=1的卷积。例如，对应上面的三个子图， $s^{'}=1$ 对应的 $i^{'}_s = 3$ , $s^{'}=2$ 对应的 $i^{'}_s = 5$ ， $s^{'}=3$ 对应的 $i^{'}_s = 7$ 。