Inception

每层设置不同的paddingSAME,多尺度并行特征提取，concat

1.BN:介绍Bottleneck layer结构

1×1卷积：可用于升维或降维，联通等作用

2. 抑制模型过拟合 - Label smooth

one hot --->label smooth

正 确 （ 1 ， 0 ， 0 ） − − − > ( 1 − ε ， ε k − 1 ， ε k − 1 )    当 前 k = 3 o n e   h o t 会 使 正 确 类 别 输 出 值 趋 于 + ∞ , 而 l a b e l   s m o o t h 会 趋 于 有 界 正确（1，0，0）--->(1-ε，\frac{ε}{k-1}，\frac{ε}{k-1}) \ \ 当前 k=3 \\ one \ hot会使正确类别输出值趋于+\infty ,而label \ smooth会趋于有界 正确（1，0，0）−−−>(1−ε，k−1ε​，k−1ε​)  当前k=3one hot会使正确类别输出值趋于+∞,而label smooth会趋于有界
3.用2个3×3代替一个5×5，能减少参数量，计算量，增加非线性性

4.不对称卷积（卷积分解）：N×N分解为1×N和N×1前后两个卷积，能减少参数量，计算量，增加非线性性

5.下采样模块：

传统下采样，先卷积再池化（计算量大）或步长为2的卷积（损失信息）
现在：分为两路，然后堆叠通道

6.深度可分离卷积：先depthwise,再pointwise（且中间无激活函数，效果最好）

每层卷积后结果不相加，直接concat，然后再通过一个1×1卷积，得到与原来卷积一样大小的结果
能够减少参数量，运算量，再Xinception中就是先通过1×1卷积，然后对每个通道都有一个卷积核然后再concat,与可分离卷积操作相反，但作用相似。