介绍几种广泛使用的典型深层卷积神经网络。
（1）LeNet-5
（详解 https://blog.csdn.net/happyorg/article/details/78274066）
基于LeNet-5 的手写数字识别系统在90 年代被美国很多银行使用，用来识别支票上面的手写数字。LeNet-5 的网络结构如图5.10所示。
不计输入层，LeNet-5 共有7 层，每一层的结构为：
1. 输入层：输入图像大小为32 × 32 = 1024。
2. C1层是卷积层，使用6 个5 × 5 的滤波器，得到6 组大小为28 × 28 = 784 的特征映射。因此，C1 层的神经元数量为6 × 784 = 4, 704，可训练参数数量为6 × 25 + 6 = 156，连接数为156 × 784 = 122, 304（包括偏置在内，下同）。
3. S2层为汇聚层，采样窗口为2×2，使用平均汇聚，并使用一个如公式(5.24)的非线性函数。神经元个数为6 × 14 × 14 = 1, 176，可训练参数数量为6 × (1 + 1) = 12，连接数为6 × 196 × (4 + 1) = 5, 880。
4. C3层为卷积层。LeNet-5中用一个连接表来定义输入和输出特征映射之间的依赖关系，如图5.11所示，共使用60 个5 × 5 的滤波器，得到16 组大小连接表参见公式(5.37)。
为10×10 的特征映射。神经元数量为16×100 = 1, 600，可训练参数数量如果不使用连接表，则需要为(60 × 25) + 16 = 1, 516，连接数为100 × 1, 516 = 151, 600。 96个5 × 5的滤波器。
5. S4 层是一个汇聚层，采样窗口为2 × 2，得到16 个5 × 5 大小的特征映射，可训练参数数量为16 × 2 = 32，连接数为16 × 25 × (4 + 1) = 2000。
6. C5 层是一个卷积层，使用120 × 16 = 1, 920 个5 × 5 的滤波器，得到120组大小为1 × 1 的特征映射。C5 层的神经元数量为120，可训练参数数量为1, 920 × 25 + 120 = 48, 120，连接数为120 × (16 × 25 + 1) = 48, 120。
7. F6层是一个全连接层，有84个神经元，可训练参数数量为84×(120+1) =10, 164。连接数和可训练参数个数相同，为10, 164。
8. 输出层：输出层由10 个欧氏径向基函数（Radial Basis Function，RBF）函数组成。这里不再详述。
AlexNet
.
详解：https://www.cnblogs.com/wangguchangqing/p/10333370.html
Inception 网络
在卷积网络中，如何设置卷积层的卷积核大小是一个十分关键的问题。在Inception 网络中，一个卷积层包含多个不同大小的卷积操作，称为Inception 模块。Inception 网络是由有多个inception 模块和少量的汇聚层堆叠而成。
Inception 模块同时使 用1 × 1、3 × 3、5 × 5 等不同大小的卷积核，并将得到的特征映射在深度上拼接（堆叠）起来作为输出特征映射。
图5.13给出了v1 版本的Inception 模块，采用了4 组平行的特征抽取方式，分别为1 × 1、3 × 3、5 × 5 的卷积和3 × 3 的最大汇聚。同时，为了提高计算效率，减少参数数量，Inception 模块在进行3 × 3、5 × 5 的卷积之前、3 × 3 的最大汇聚之后，进行一次1×1 的卷积来减少特征映射的深度。如果输入特征映射之间存在冗余信息，1 × 1 的卷积相当于先进行一次特征抽取。
残差网络
残差网络（Residual Network，ResNet）是通过给非线性的卷积层增加直连边的方式来提高信息的传播效率。
假设在一个深度网络中，我们期望一个非线性单元（可以为一层或多层的卷积层）f(x, θ)去逼近一个目标函数为h(x)。如果将目标函数拆分成两部分：恒等函数（Identity Function）x 和残差函数（Residue Function）h(x) − x。
根据通用近似定理，一个由神经网络构成的非线性单元有足够的能力来近似逼近原始目标函数或残差函数
原来的优化问题可以转换为：让非线性单元f(x, θ)去近似残差函数h(x)−x，并用f(x, θ) + x 去逼近h(x)。
图5.15给出了一个典型的残差单元示例。残差单元由多个级联的（等长）卷积层和一个跨层的直连边组成，再经过ReLU激活后得到输出。
残差网络就是将很多个残差单元串联起来构成的一个非常深的网络。
和残差网络类似的还有highway network。