CNN

2023-10-12 15:37:46

稀疏交互

每个输出神经元仅与前一层特定局部区域内的神经元存在权重连接。

假设网络中相邻两层分别具有m个输入和n个输出。全连接网络中的权值参数矩阵为m*n个参数。对于CNN，如果限定每个输出与前一层的神经元连接个数为K，那么该层的参数总量为k*n

物理意义：先学习局部特征，再将局部特征组合起来形成更复杂的抽象特征。

参数共享

同一个模型中的不同模块使用相同的参数。

物理意义：使得卷积层具有平移等变性

输出尺寸

\[N: 输入的宽， F：卷积核的大小， stride：步长 \]

\[output_{size} = \frac{N-F+2*pad}{stride}+1 \]

池化

常用的池化操作主要针对非重叠区域，包括均值池化，最大池化。

计算公式：\(参数量=（filter size * 前一层特征图的通道数）* 当前层filter数量\)

VGG-16为例，Conv1-1，输入 224*224*3 ，64个3*3filter，输出feature map 224*224*64。

Conv1-1的参数量为 3*3*3*64。

Conv2-1，输入 112*112*64 ，128个3*3 filter，输出feature map 112*112*128 。

Conv2-1的参数量 3*3*64*128 。