1、Inception-v4模型

结构：六大模块

1、stem（9层）

2、Inception-A（3*4层）

3、Reduction-A（3层）

4、Inception-B（5*7层）

5、Reduction-B（4层）

6、Inception-C（4*3层）

加一个全连接层，共76层

注：

padding 两种模式：

·no padding 输入图像n*n，过滤器f*f，输出图像大小为：（n-f+1)2

·Same  进行padding操作，输出图像与输入图像一致

2、单模块介绍

Stem：

注：其中，不标V表示采用一定像素填充，输出特征图分辨率不变。标V表示不进行padding

借助策略：

· 3个3*3卷积堆叠；

· 高效特征图下降策略 （卷积得到一半特征图，用池化得到一半特征图）

· 非对称分解卷积

借助策略： · 3个3*3卷积堆叠； · 高效特征图下降策略 （卷积得到一半特征图，用池化得到一半特征图） · 非对称分解卷积

 

Inception A-B-C

 

 Reduction A-B

3、Inception-ResNet-v2模型

stem v1 vs v2

Inception-ResNet-V1  A-B-C

 Inception-ResNet-V2  A-B-C

每个Inception 模块最后都使用了一个1x1的卷积（linear activation），作用是保证identity部分和Inception部分输出特征维度相同，这样才能保证两部分特征能够相加

 Reduction-B

 

论文中：

Inception-ResNet-V1  共： 7+5*4+3+10*4+3+5*4+1=94层

Inception-ResNet-V2  共： 9+5*4+3+10*4+3+5*4+1=96层

代码中： Inception-ResNet-V2

共： 7+3+10*4+3+20*4+3+9*4+1=173层 

激活值缩放：

为了让模型训练稳定，在残差模块中对残差进行数值大小的缩放，通常乘以0.1至0.3之间的一个数

 另外一个模型稳定策略： 预热训练（Warmup）

4、对比总结