实时语义分割模型——BiSeNet

2023-11-27 17:57:39

主要思想：在语义分割任务中，低阶的细节特征和高阶的语义特征一样重要，但当下的方法为了取得更快的推理速度，往往牺牲掉了低阶特征，从而导致精度的严重下降。因此作者提出了一个由两条分支组成的网络架构，分别是细节分支和语义分支。细节分支中特征图的channel数较少，而分辨率较高，有利于提取图像上的边缘、角点等细节信息；语义分支中特征图的channel数较多，而分辨率较低，有利于提取高层的语义特征。最后再通过作者设计的Guided Aggregation Layer对两者所提取的特征进行聚合。
网络结构：
1. Detail Branch：包涵 3 个 stages，每个 stage 都是由一个卷积层、一个 BN 层和一个激活函数组成；每个卷积层的 stride 都为 2，最终提取到的特征图的尺寸为原始输入的 1/8 .经过实验中对特征图的可视化可以发现，该分支会倾向于提取出图片上物体的边缘和角点特征。
2. Semantic Branch：语义分支中与细节分支所对应的特征图的channel数均是细节分支中channel数的 1 / λ，且应用了全局平均池化来获得更大的感受野，更好的提取到全局的信息。该分支可以替换为任意的轻量卷积模型。
3. Aggregation Layer：将上述两个分支所提取出的特征进行聚合。

码农公寓