实时语义分割模型——BiSeNet

  • 主要思想:在语义分割任务中,低阶的细节特征和高阶的语义特征一样重要,但当下的方法为了取得更快的推理速度,往往牺牲掉了低阶特征,从而导致精度的严重下降。因此作者提出了一个由两条分支组成的网络架构,分别是细节分支和语义分支。细节分支中特征图的channel数较少,而分辨率较高,有利于提取图像上的边缘、角点等细节信息;语义分支中特征图的channel数较多,而分辨率较低,有利于提取高层的语义特征。最后再通过作者设计的Guided Aggregation Layer对两者所提取的特征进行聚合。
  • 网络结构:
    1. Detail Branch:包涵 3 个 stages,每个 stage 都是由一个卷积层、一个 BN 层和一个激活函数组成;每个卷积层的 stride 都为 2,最终提取到的特征图的尺寸为原始输入的 1/8 .经过实验中对特征图的可视化可以发现,该分支会倾向于提取出图片上物体的边缘和角点特征。
    2. Semantic Branch:语义分支中与细节分支所对应的特征图的channel数均是细节分支中channel数的 1 / λ,且应用了全局平均池化来获得更大的感受野,更好的提取到全局的信息。该分支可以替换为任意的轻量卷积模型。
    3. Aggregation Layer:将上述两个分支所提取出的特征进行聚合。实时语义分割模型——BiSeNet
上一篇:Rockchip | RK3399 bootrom引导媒介流程


下一篇:NIO基础——文件编程