Deep Layer Aggregation论文笔记

概述

之前的组会中孙文宇学长分享了CenterNet,李普学长分享了FPN,DLA起到了承上启下的作用。

这篇顶会论文由UC Berkeley研究员Fisher Yu所在团队提出并发表:

1、 是将现今的网络结构由具像总结至抽象

2、 提出两种抽象的网络架构:Stage之间使用iterative layer aggregation,Stage内使用Hierarchical layer aggregation。我把他们称为迭代聚合以及层次聚合,

两个模型类似SENet,容易扩展在已有网络结构中。

Deep  Layer  Aggregation论文笔记

 

 

 

迭代深层聚合

深层阶段的语义信息很丰富但是空间上比较粗糙。将低层阶段通过跳跃连接到高层阶段来融合尺寸和分辨率。但现有的跳跃连接都是线性的,例如U-Net。

个人理解的迭代:上采样后的Stage与前一聚合节点融合后,迭代成为新的聚合节点。

优点

1、融合分辨率和尺寸

2、避免最浅层的部分会对最终结果产生最深远影响

 Deep  Layer  Aggregation论文笔记

 

 

分层深度聚合

对原始的树结构进行改进,我们来找不同:

首先是引入可重入,通过将聚合节点的输出作为下一个子树的输入反馈到主干中。

接着是取消了右节点,合并同一层次连续的聚合。

Deep  Layer  Aggregation论文笔记

 

 残差块

-X表示该模型使用的Backbone是ResNeXt,采用Split Block;默认的Backbone是ResNet,34为Basic Block,46及以上采用Bottleneck Block。

Deep  Layer  Aggregation论文笔记

 

网络结构

Deep  Layer  Aggregation论文笔记

 

 

实验效果

首先是模型压缩,DLA与SqueezeNet在ImageNet2012上的训练模型结果

其中-C代表该模型小巧,参数只有1百万左右。

-n代表的是聚合层数。可以看到在提升7个点的同时,参数却几乎持平。

评价标准为交并比,数值越大表示越精确;

接着是语义分割的对比表现

Deep  Layer  Aggregation论文笔记

 

上一篇:java-热部署


下一篇:翻译Houdini官方文档:Dynamics(动态模拟网络)