论文阅读笔记(一)——squeezenet

——论文阅读笔记(一)——squeezenet

前言

寒假希望自己能够有所提升吧,不要再当一个简单地代码搬运工,所以希望自己能够坚持下来每天阅读一些文章,然后进行总结,冲冲冲
论文阅读笔记(一)——squeezenet

1 论文简介

1.1关于文章

论文全称: SQUEEZENET: ALEXNET-LEVEL ACCURACY WITH 50X FEWER PARAMETERS AND <0.5MB MODEL SIZE

这里提供几个链接,大家可以自己下载下来学习
百度网盘
链接:论文原文
提取码:huzs
官网链接
论文链接:论文链接
代码链接:代码链接

1.2 关于squeezenet

其实这篇文章相较于后续的其他轻量化网络,其实可以学习借鉴的东西并不多,但是由于这篇属于轻量化网络的开篇之作,最早公开于2016年2月,所以我想借用这次机会,从头学习一下轻量化网络的演变路程,希望可以收获一些感悟

2 文章正文

2.1 摘要

近年来,深度卷积神经网络(CNNs)的研究主要集中在提高精度上。对于给定的精度级别,通常可以识别多个达到该精度级别的CNN架构。在同等精度的情况下,较小的CNN体系结构至少有三个优点:
1)较小的CNN在分布式训练期间需要较少的跨服务器通信。
2) 较小的cnn需要较少的带宽才能将新车型从云端导出到自动驾驶汽车。
3) 更小的CNN更适合部署在FP-GAs和其他内存有限的硬件上。
为了提供所有这些优势,我们提出了一个称为挤压网的小型CNN架构。SqueezeNet在ImageNet上实现AlexNet级精度,参数减少50倍。此外,通过模型压缩技术,我们可以将squezenet压缩到小于0.5MB(比AlexNet小510倍)。
可在此处下载SqueezeNet架构:https://github.com/DeepScale/SqueezeNet

2.2 文章动机 Motivation

其实文章的重点在大多数网络都在往深而精确的网络中改进,但是现实生活中由于计算平台的限制,比如嵌入式系统,比如车载系统中,都没法提供足够的算力来计算大型的CNN网络,而目的方法都是对网络进行剪枝,作者想要提供一种简洁的小型网络,来满足
1)更有效的分布式训练
2)可以将新模型导出到客户端时开销更小
3)可行的FPGA和嵌入式部署
所以提出了squeezeNet模块

3 squeezenet:用较少的参数保持精度

3.1 压缩策略

squeezenet模型主要使用了三个策略

  • 将 3 × 3 3\times3 3×3卷积替换成 1 × 1 1\times1 1×1卷积。文章中将大多数 3 × 3 3\times3 3×3卷积替换为 1 × 1 1\times1 1×1卷积,这使得一个卷积操作的参数两减少了9倍
  • 减少 3 × 3 3\times3 3×3卷积的通道数。一个 3 × 3 3\times3 3×3卷积的计算量是 3 × 3 × M × N 3\times3\times M \times N 3×3×M×N其中M是输入Feature Map的通道数,而N是输出Feature Map的通道数,作者希望通过减少M.N来达到减少参数量的目的
  • 下采样后置,使卷积层具有较大的activation maps。这个举动会提高网络精度,但是也会增加网络的计算量。在卷积网络中,每个卷积层产生空间分辨率至少为1x1且通常远大于1x1的输出激活图。这些activation maps的高度和宽度由以下因素控制:
    • 输入数据的大小(例如256x256图像)
    • 下采样的位置

3.2 Fire模块

fire模块由以下两部分组成

  • squeeze部分
    • 一组连续的 1 × 1 1\times1 1×1的卷积
  • Expand部分
    • 一组连续的 1 × 1 1\times1 1×1卷积和一组连续的 3 × 3 3\times3 3×3卷积cancatnate组成。因此 3 × 3 3\times3 3×3卷积需要使用same卷积

在fire模块中有三组超参数: s 1 × 1 s_{1\times1} s1×1​、 e 1 × 1 e_{1\times1} e1×1​ 、 e 3 × 3 e_{3\times3} e3×3​。squeeze部分的 1 × 1 1\times1 1×1卷积的通道数记作 s 1 × 1 s_{1\times1} s1×1​。而expand部分 1 × 1\times 1×卷积和 3 × 3 3\times3 3×3卷积的通道数分别记作 e 1 × 1 e_{1\times1} e1×1​ 、 e 3 × 3 e_{3\times3} e3×3​。作者建议使用Fire模块时, s 1 × 1 < e 1 × 1 + e 3 × 3 s_{1\times1}<e_{1\times1}+e_{3\times3} s1×1​<e1×1​+e3×3​,相当于在 3 × 3 3\times3 3×3卷积之中加入瓶颈层,有助于限制3x3滤波器的输入通道数量。
论文阅读笔记(一)——squeezenet
下面代码片段是Keras实现的Fire模块,注意拼接Feature Map的时候使用的是Cancatnate操作,这样不必要求 e 1 × 1 = e 3 × 3 e_{1\times1}=e_{3\times3} e1×1​=e3×3​。

def Fire_Model(x, s_1, e_1, e_3, fire_name):
    # squeeze部分
    squeeze_x = Conv2D(kernel_size=(1,1),filters=s_1x1,padding='same',activation='relu',name=fire_name+'_s1')(x)
    # expand部分
    expand_x_1 = Conv2D(kernel_size=(1,1),filters=e_1x1,padding='same',activation='relu',name=fire_name+'_e1')(squeeze_x)
    expand_x_3 = Conv2D(kernel_size=(3,3),filters=e_3x3,padding='same',activation='relu',name=fire_name+'_e3')(squeeze_x)
    expand = merge([expand_x_1, expand_x_3], mode='concat', concat_axis=3)
    return expand

3.3 网络结构

图3是SqueezeNet的几个实现,左侧是不加short-cut的SqueezeNet,中间是加了short-cut的,右侧是short-cut跨有不同Feature Map个数的卷积的。作者在后续还补充了一些其他细节:

  1. 激活函数默认都使用ReLU;
  2. fire9之后接了一个rate为0.5的dropout;
  3. 使用same卷积。
    论文阅读笔记(一)——squeezenet
    更详细的参数实现图
    论文阅读笔记(一)——squeezenet

代码实现

def squeezeNet(x):
    conv1 = Conv2D(input_shape = (224,224,3), strides = 2, filters=96, kernel_size=(7,7), padding='same', activation='relu')(x)
    poo1 = MaxPool2D((2,2))(conv1)
    fire2 = Fire_Model(poo1, 16, 64, 64,'fire2')
    fire3 = Fire_Model(fire2, 16, 64, 64,'fire3')
    fire4 = Fire_Model(fire3, 32, 128, 128,'fire4')
    pool2 = MaxPool2D((2,2))(fire4)
    fire5 = Fire_Model(pool2, 32, 128, 128,'fire5')
    fire6 = Fire_Model(fire5, 48, 192, 192,'fire6')
    fire7 = Fire_Model(fire6, 48, 192, 192,'fire7')
    fire8 = Fire_Model(fire7, 64, 256, 256,'fire8')
    pool3 = MaxPool2D((2,2))(fire8)
    fire9 = Fire_Model(pool3, 64, 256, 256,'fire9')
    dropout1 = Dropout(0.5)(fire9)
    conv10 = Conv2D(kernel_size=(1,1), filters=1000, padding='same', activation='relu')(dropout1)
    gap = GlobalAveragePooling2D()(conv10)
    return gap

3.4 模型评估

因为squeezenet其实并不想后面的其他轻量化网络效果那么好,所以作者只是与alexnet进行了对比,使用ImageNet(Deng等人,2009)(ILSVRC 2012)数据集对图像进行分类,使用AlexNet5和相关的模型压缩结果作为比较的基础来评估squeezenet。

详细的实验对比这里也不过多赘述,主要就是与alexnet不同压缩情况进行对比,有兴趣的朋友下来可以看下原文(原文其实实验对比也不是像mobilenet那样还对比了目标检测的任务,可以看看)
论文阅读笔记(一)——squeezenet

总结

SqueezeNet主要的方法是 3 × 3 3\times3 3×3卷积替换成为 1 × 1 1\times1 1×1卷积,和减少 3 × 3 3\times3 3×3卷积的通道数这两种方法来降低参数量,然后通过下采样后置来提供精度,降低卷积被替换而损失的精度。从参数量来说,SqueezeNet的目的已经达到了。但是从效果上来说,其实SqueezeNet的效果其实并不像后面那几篇一样,有这很惊艳的方法。但是由于他算是真正意义上的第一篇轻量化网络,所以大家对此也算比较包容

收获

  1. 其实文章目标是嵌入式、车载系统等,以上环境更多追求的是实时性,虽然SqueezeNet减少了参数量,但是其丧失了网络的并行能力,整体的时间反而会更长,从这点上来说,这篇文章的结果并不算很完美
  2. 论文的结果其实与标题所说的减少,存在一定的夸大,这一点上论文也存在着一些问题
  3. 参数量不一定等于实时与速度,这一点在SqueezeNet丧失并行能力,导致运行时间更长就可以看出。
上一篇:pymysql基础操作


下一篇:【离散优化】大邻域搜索