论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文链接:https://arxiv.org/pdf/1606.00915.pdf

摘要

该文主要对基于深度学习的分割任务做了三个贡献,(1)使用空洞卷积来进行上采样来进行密集的预测任务。空洞卷积可以在不增加参数量的基础上增大filter的感受野,从而可以得到更多的语义信息。(2)空洞空间金字塔池化结构(ASPP)从而以多尺寸来分割目标物体。通过不同sample rates的filters及不同大小的感受野,来获得多尺寸下的语义信息。(3)结合DCNN与概率模型提高物体的检测边界。DCNNs+CRF

介绍

DCNN应用于分割的三个挑战:(1)feature 分辨率的减少(2)不同尺寸的目标物(3)由于DCNN的不变性导致分割边界的不精确。

解决方案:(1)将DCNN最后几个maxpooling去掉,在后续的卷积层中添加更高sample rate的空洞卷积。结合空洞卷积与双线性插值将feature map 还原为原图大小。

(2)一个标准方式是将图片处理成相同的尺寸,然后融合特征与score maps,但会引入大量的计算。受到空间金字塔池化启发,对feature map以多rates 进行卷积,增强了感受野,该文对一张图片平行的使用不同sample rate 的空洞卷积层(ASPP)。

(3)一个对应物体中心的分类器,要求对空间的一些旋转等变换有类别不变性,一种方式是在进行最终的分割预测时通过跳跃连接不同层的 features 来获得潜在信息。本文,作者是用了一个全连接的CRF来改善模型对边界的分割。

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

本文对VGG16,ResNe-101进行改进,(1)将全连接层变为卷积层(2)通过增加空洞卷积增加特征图的分辨率,应用双线性插值将score map还原为原图大小。(3)后接CRF来增强分割结果。

DeepLab的优势:(1)空洞卷积提高了速度(2)准确率:在VOC的多个任务上实现state-of-art(3)简约性:DCNNs+CRFs

DeepLabv2相比DeepLabv1的改进:对多尺寸的图片分割效果更好,引入ASPP,用ResNet作为backbone,实现比VGG16更好的效果。

相关工作

先前主要靠将手工设计的特征与boosting,随机森林,SVM等分类器结合实现较好的分割效果,后来结合了上下文信息与结构预测技术,但他们特征表达能力仍有欠缺。近年来,Deep Learning 推动了分割的发展。大致分为如下三个部分:

(1)基于DCNN的分割:通常采用自底向上的feature map级联,然后送入DCNN进行区域分割。

(2)通过卷积得到的DCNN feature maps 来密集的图像标记,然后将每个feature map单独的与分割结合起来。

(3)通过DCNNs直接得到密集的图像标签,甚至可以丢弃传统的分割算法。

这里提一下,虽然CRF作为后处理的手段,但该文将CRF的 mean-filed 推理步骤进行转化,并添加到end-to-end可训练的前向网络中。

方法

在空洞卷积部分,作者提到使用反卷积的一个弊端是需要额外的内存和计算时间。

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

上图(上层为1D,下层为2D)很容易可以看出,将空洞卷积的rate 调大,会使得到的feature map更加密集。这里,由于网络最后的卷积池化层分辨率减少很多,因此,在随后的网络中增加rate 为2的空洞卷积,但这里会大大增加计算量,平衡效率与准确率,在对一个feature map放大四倍后,进行双线性插值来还原到原图分辨率大小。

空洞卷积的一个好处是可以控制感受野的大小。一个大小为kxk的卷积核引入rate为r的空洞卷积后大小变为Ke,计算如下

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

空洞卷积的应用表现在两个方面:(1)在卷积核中插入0值来进行上采样或稀疏采样输入的feature map。(2)根据空洞卷积中rate值的大小等倍数的对input feature map进行下采样。后通过标准的卷积使他们的像素恢复到原图大小。

ASPP

为了解决分割中的多尺寸问题,该文实验了两种方法:

(1)采用传统的方法,在训练和测试时,从DCNN中抽取多层(这里使三层)feature map,通过双线性插值恢复为原图尺寸,然后将其进行融合,这么做  确实有效果,但是增加了DCNN的计算量。

(2)对一张图片上通过平行的进行不同尺寸的空洞卷积操作,间接的得到多尺度特性,不同sample rate提取的特征经过单独的后处理和融合进而生成最终的结果。采用的即ASPP模型,如下图。

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

全连接CRF

DCNN中的一个固有弊端是位置的准确性与分类的效果之间的矛盾, 带有池化层越深的模型其分类效果越好,但 持续增加的不变性与较大的感受野只会使结果更加平滑,但无法使边界更加分明。

针对边界问题的方法,一是可以利用网络中多层feature map以便更好的进行边界分割。另一种方法是可以引入超像素表示,将边界任务交给较低级的分割方法处理。

该文结合DCNN的识别能力与全连接CRF较高的分界效果。

 实验

将VGG-16和ResNet-101处理成分割网络。损失函数是CNN输出feature map(缩小为8倍)后空间位置交叉熵的和,使用SGD优化算法,在PASCAL VOC 2012,       PASCAL-Context, PASCALPerson-Part,和 Cityscapes上进行实验。

PASCAL VOC 2012:backbone:VGG-16 ,mini-batch:20 ,learning rate: 0.001,learning rate decay: 0.1 ,momentum: 0.9 ,weight decay: 0.0005

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

实验上的改进:(1)训练时不同的学习策略。(2)ASPP(3)加深网络和多尺度处理

(1)使用poly 学习速率,论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

(2)调整ASPP中的rate: r={2,4,8,12} r={6,12,18,24}

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

(3)将VGG-16换位ResNet-101使网络加深。

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

论文阅读笔记十:DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs (DeepLabv2)(CVPR2016)

参考

[1] Y. LeCun, L. Bottou, Y. Bengio, and P. Haffner, “Gradient-based learning applied to document recognition,” in Proc. IEEE, 1998.

[2] A. Krizhevsky, I. Sutskever, and G. E. Hinton, “Imagenet classification with deep convolutional neural networks,” in NIPS, 2013.

[3] P. Sermanet, D. Eigen, X. Zhang, M. Mathieu, R. Fergus, and Y. LeCun, “Overfeat: Integrated recognition, localization and detection using convolutional                             networks,” arXiv:1312.6229, 2013.

上一篇:迁移Horizon Composer数据库


下一篇:[UOJ#334][NOIP2017]列队 平衡树/线段树/树状数组