文章目录
Paper: https://arxiv.org/abs/2104.13188
Code: https://github.com/MichaelFan01/STDC-Seg
一、背景
现有的语义分割方法，如 Deeplabv3、psp、Segnet等，虽然都取得了较好的效果，但都需要很大的计算开销。
在轻量化语义分割方面，有两个主要方向：
-
lightweight backbone
DFANet，DFNet等
-
multi-branch architecture
ICNet、BiSeNetv1、BiSeNetv2
二、动机
BiSeNet V1 虽然使用multi-path的结构，将低层的detail和高层的semantic进行了组合，但获得低层信息的分支非常耗时，辅助path经常缺乏低层信息的指导。
三、方法
本文作者提出了一个手工网络来提升推理速度、提升网络可解释性。
STDC module（Fig3(b)）：首先提出了一个 STDC 模块，来使用很少的参数获取多尺度和感受野信息
STDC networks：将 STDC module 嵌入U-net里边来得到
3.1 Design of Encoding Network
3.1.1 STDC module
特点：
-
只有第一个block的卷积核大小为1x1，其余都为3x3
-
浅层通道多，深层通道少
原因：
- 分类任务中，深层的通道比浅层多，深层的高级语义信息对分类任务更加重要；
- 分割任务中，需要同时关注深层和浅层信息。浅层（小感受野）需要足够多的通道来提取更多精细的信息，高层（大感受野）通道如果和浅层一样多的话，会造成冗余，所以高层通道越来越少。
-
只有 Block2 进行了下采样
-
为了丰富特征，作者使用了跳连（skip-path）将 x1 到 xn 的特征进行了concat，concat之前会使用 3x3 的average pooling 将特征图下采样到相同大小。
STDC module 的两个优势：
- 作者以几何级数的方式来降低滤波器的大小，显著降低了计算复杂度
- 最后使用concat的方式融合了所有block的输出，保留了多尺度感受野和多尺度信息。
3.1.2 Network Architecture：
network 结构图如图 3(a) 所示，由 6 个 stage 组成，stage1~stage5 都进行了下采样，stage6进行全连接。每个stage里边的第一个STDC会进行二倍下采样，其他STDC将会保持分辨率不变。
STDC network 如表2所示：
3.2 Decoder
3.2.1 Segmentation Architecture
如图4(a)所示，作者使用stage 3、4、5来生成下采样比率分别为 1/8、1/16、1/32的特征图。然后使用全局平均池化来得到语义信息。之后，使用U-shape结构来对全局特征进行上采样，并且和stage4、stage5的进行结合（在encoder阶段）。
context info 和 spatial info 的结合使用：
在最后的语义分割预测阶段，作者使用了 Feature Fusion Module (bisenetv1)，来融合来自encoder 的 stage3 (1/8大小) 和 decoder 的stage3的特征，作者认为来自这两个 stage 的特征其实是代表了不同尺度的特征。encoding 的特征有更多的细节信息，decoding的特征有更多的语义信息（由于其来自于 global average pooling）。
Seg Head 的构成：一个 3x3 conv+bn+relu，再跟一个 1x1 卷积，输出维度为类别数量
Loss：cross entropy loss
4、Detail Guidance of Low-level Features
BiSeNet 的spatial path 的特征如图5(b)所示，对比 backbone 的低层特征（如 stage3），spatial path包含了更多细节信息，如边缘、角点。
因为本文是 single-stream 的，所以作者提出了一个 Detail Guidance Module 来引导低层学习空间信息。
方法：将细节预测建模为一个二值分割任务
- 使用 Laplacian operator 从 segmentation gt 生成 detail gt（Fig4©）
- 在 stage3 中插入 Detail Head，来生成 detail feature map（Fig4(a)）
- 将detail gt 作为真值，指导低层来学习空间细节信息，学习后的可视化效果图如 Fig5(d)，可以看出其已经学到了很多类似于Fig5(b) 的细节
- 最后，将学习到了detail features 和来自于 decoder 的 deep block 的context 特征进行融合。
Detail gt generation： 如 Fig4© 所示，作者使用 Detail Aggregation module 生成细节真值图：
- 首先使用不同stride的2D卷积（named laplacian kernel，Fig4(e)），产生不同尺度的soft thin detail 特征图
- 然后将这三个特征图上采样到原始尺寸，并使用一个 1x1 卷积来进行动态融合
- 最后，使用阈值0.1来将预测结果转化为二值gt图
Detail loss：
已知细节图像中，detail pixel 远远少于 non-detail pixel，所以 detail 的预测是一个类别不均衡问题，由于weighted cross-entropy loss 是比较粗糙的，所以我们使用binary cross-entropy & dice loss联合学习。
Dice loss 度量预测和真值的重合率，且该 loss 对前景/背景的个数不敏感，可以缓解类别不均衡问题
Detail Head：如 Fig4(b) 所示，Detail Head 产生 detail map，detail map 可以指导浅层对空间信息编码
- 组成：一个 3x3 conv-BN-Relu，后接一个1x1cov
- 使用：只在 train 阶段使用，test 阶段不使用，所以测试阶段不会带来另外的耗时
四、实验
4.1 消融实验
1、Effectiveness of STDC module
作者通过实验验证了在 STDC 中使用4个 block 是最优的，多的话 FPS 会急剧下降。
2、Effectiveness of backbone
3、Effectiveness of Detail Guidance
stage 3 的 heatmap feature map 如 Fig6 所示，可以明显的看出有 Detail guidance 的（c）列，比（b)列包含了更多的空间细节信息，定量的分析如 Table 4 所示。