本文讨论的内容参考自《神经网络与深度学习》https://nndl.github.io/ 第5章 卷积神经网络
卷积神经网络
卷积
卷积的定义
一维卷积
二维卷积
互相关
卷积的变种
卷积的数学性质
交换性
导数
卷积神经网络
用卷积来代替全连接
卷积层
汇聚层
卷积网络的整体结构
参数学习
卷积神经网络的反向传播算法
几种典型的卷积神经网络
LeNet-5
这里解释一下（2），平均汇聚是相加然后乘以一个可训练参数，再加上一个可训练偏置，因此可训练参数的数量是
6
∗
(
1
+
1
)
6 * (1 + 1)
6∗(1+1)，而连接数是
6
∗
14
∗
14
∗
(
2
∗
2
+
1
)
6 * 14 * 14 * (2 * 2 + 1)
6∗14∗14∗(2∗2+1)，这里包括了偏置在内。
（3）C3这里使用了60个卷积核，为什么只得到了16个特征图，而不是60个特征图，这是LeNet-5的特殊的连接，连接表如下：
（5）C5卷积层是使用了120*16个二维的 5 X 5 5X5 5X5的卷积核，实际上就是120个三维的 5 X 5 X 16 5X5X16 5X5X16的卷积核。
实际上，上面的卷积核都是二维的，所以算起来不太一样，卷积层输出的特征图数目等于卷积核数目，不论上一层的特征图有多少，卷积核都可以进行卷积，最终只输出一个特征图（见下图），因为卷积核的通道数和输入特征图的通道数相同，每个通道都和卷积核对应通道的部分卷积，最后再相加，变成一个特征图。
AlexNet
Inception网络
残差网络
其他卷积方式
转置卷积
空洞卷积
总结和深入阅读
习题
这里再解释一下窄卷积和宽卷积，以1维举例
比如说我有7个元素，卷积核长度是5，那么窄卷积出来的元素个数就是（7-5+1）= 3，而为了把边缘特征也提取出来，就需要进行0填充，在7个元素的左右各填充（5-1）=4个0，总共就有15个元素，那么宽卷积出来的元素个数就是（15-5+1）=11。接下来来证明宽卷积的可交换性：
首先给定一个二维图像
X
∈
R
M
X
N
X \in R^{MXN}
X∈RMXN和一个二维卷积核
W
∈
R
U
X
V
W \in R^{UXV}
W∈RUXV，由于要使用宽卷积，所以对图像进行填充，两端各补
U
−
1
U-1
U−1和
V
−
1
V-1
V−1个零，得到全填充图像
X
∈
R
(
M
+
2
U
−
2
)
X
(
N
+
2
V
−
2
)
X \in R^{(M+2U-2)X(N+2V-2)}
X∈R(M+2U−2)X(N+2V−2)
结果是一样的，所以是可交换的。
1X1的卷积核可以用来升降维，因为卷积后的特征图通道数和卷积核个数是相同的，那么通过给定个数的1X1卷积核就可以实现升降维。
1X1卷积核的升维和降维就是通道之间的线性组合，实现跨通道的信息交互，比如说3X3,64channel的卷积核后面再加一个1X1,28channel的卷积核，就会变成3X3,28channel的卷积核，原来的64个channel可以理解为跨通道线性组合变成了28个channels。
1X1卷积核增加了网络深度，因为添加了一层卷积层，卷积过程会包含一个激活函数，所以在特征图从尺寸不改变的情况下，增加了网络深度，增加了非线性，所以会增加整个网络的表达能力。
（1）通道数为256到256，相当于使用了256个3X3的卷积核，所以时间复杂度是
100
∗
100
∗
256
∗
3
∗
3
∗
256
=
5898240000
100*100*256*3*3*256=5898240000
100∗100∗256∗3∗3∗256=5898240000
空间复杂度是
256
∗
100
∗
100
=
2560000
256*100*100=2560000
256∗100∗100=2560000
（2）通道数先从256到64再到256
时间复杂度是
100
∗
100
∗
256
∗
1
∗
1
∗
64
+
100
∗
100
∗
64
∗
3
∗
3
∗
256
=
1638400000
100*100*256*1*1*64+100*100*64*3*3*256=1638400000
100∗100∗256∗1∗1∗64+100∗100∗64∗3∗3∗256=1638400000
空间复杂度是
64
∗
100
∗
100
+
256
∗
100
∗
100
=
3200000
64*100*100+256*100*100=3200000
64∗100∗100+256∗100∗100=3200000
可以看到1X1的卷积核虽然多了些空间复杂度，但能大幅减少时间复杂度。
以习题5-5的例子来说，
比如前向计算的时候，第
l
+
1
l+1
l+1层的净输入为
z
(
l
+
1
)
=
W
(
l
+
1
)
z
(
l
)
z^{(l+1)}=W^{(l+1)}z^{(l)}
z(l+1)=W(l+1)z(l)，那么反向传播时，第
l
l
l层的误差项为
δ
(
l
)
=
(
W
(
l
+
1
)
)
T
δ
(
l
+
1
)
\delta^{(l)}=(W^{(l+1)})^T \delta^{(l+1)}
δ(l)=(W(l+1))Tδ(l+1)，是一种转置关系。