Network in Network
Introduction
传统卷积:广义线性模型(Generalized Liner Model,GLM),提取的浅层特征。只有数据线性可分时可以达到好的效果。
NIN:利用非线性模块(micro network,本文采用多层感知机——mlpconv)代替GLM。
GLM提取局部的线性特征,mlpconv包含多层感知机和全连接层。两者都是滑动窗形式提取局部特征。NIN由mlpconv这样的micro network堆叠而成,所以称为Network in Network。
在NIN的最后,直接将feature map后接global average pooling(全局平均池化)+softmax作为网络的最后输出。
(文中这里解释了传统的FC层类似于黑盒子所以很难解释信息如何在back propagation过程中传递?。而全局平均池化加强了feature map和类别信息之间的联系)传统的FC层容易过拟合,需要进行drop out正则化,而全局平均池化也充当了正则化的作用,解决了过拟合问题。
模型结构
MLP Conv
多层感知机(MLP)
1.利用back propagation进行训练,可以与传统的卷积层进行比较。
2.本身是一个深度网络,并且可以实现特征重复利用。
mlpconv公式如下:
上述公式可以理解为cross channel pooling,实现不同channel之间的信息传递。作用相当于一个1*1卷积核。
全局平均池化
传统卷积网络:Conv+FC+softmax。Conv看做特征提取,后续作为分类。
Global average pooling:对每个类别提取一个feature map,然后计算每个feature map的平均值。将结果送入softmax进行分类。加强了类别信息和feature map的内在联系,这样feature map就可以被当做类别的置信度。
另外,全局平均池化对于输入数据的空间变换结果更具有鲁棒性。
过拟合问题:传统的FC+softmax带来过拟合问题需要drop out来进行处理。而Global average pooling不含参数,所以不会带来过拟合的问题。