Inception与Inception中的一些技巧

Inception

每层设置不同的paddingSAME,多尺度并行特征提取,concat

1.BN:介绍Bottleneck layer结构

1×1卷积:可用于升维或降维,联通等作用

2. 抑制模型过拟合 - Label smooth

one hot --->label smooth

正 确 ( 1 , 0 , 0 ) − − − > ( 1 − ε , ε k − 1 , ε k − 1 )    当 前 k = 3 o n e   h o t 会 使 正 确 类 别 输 出 值 趋 于 + ∞ , 而 l a b e l   s m o o t h 会 趋 于 有 界 正确(1,0,0)--->(1-ε,\frac{ε}{k-1},\frac{ε}{k-1}) \ \ 当前 k=3 \\ one \ hot会使正确类别输出值趋于+\infty ,而label \ smooth会趋于有界 正确(1,0,0)−−−>(1−ε,k−1ε​,k−1ε​)  当前k=3one hot会使正确类别输出值趋于+∞,而label smooth会趋于有界
3.用2个3×3代替一个5×5,能减少参数量,计算量,增加非线性性

4.不对称卷积(卷积分解):N×N分解为1×N和N×1前后两个卷积,能减少参数量,计算量,增加非线性性

5.下采样模块:

传统下采样,先卷积再池化(计算量大)或步长为2的卷积(损失信息)
现在:分为两路,然后堆叠通道

6.深度可分离卷积:先depthwise,再pointwise(且中间无激活函数,效果最好)

每层卷积后结果不相加,直接concat,然后再通过一个1×1卷积,得到与原来卷积一样大小的结果
能够减少参数量,运算量,再Xinception中就是先通过1×1卷积,然后对每个通道都有一个卷积核然后再concat,与可分离卷积操作相反,但作用相似。

上一篇:论文中画带标准差阴影的曲线图:seaborn.lineplot()


下一篇:交互联动