Improving Monocular Depth Estimation by Leveraging Structural Awareness and Complementary Datasets

Improving Monocular Depth Estimation by Leveraging Structural Awareness and Complementary Datasets
提出问题:目前单目深度估计中的方法存在的问题是缺乏结构信息的利用,这样就会导致不准确的空间信息,表面不连续,模糊边界问题。
提出解决方案:

  • 为了充分利用视觉特征的空间关系,提出了一个空间结构注意力模块,这个模块让不同特征层注意不同的结构信息,比如有些层注意全局结构,有些层注意局部细节。
  • 介绍了一个global focal relative loss 损失函数(这个公式没看懂),可以增强空间约束。(我理解的就是提供更有效的空间信息),并明确的增加深度不连续的误差惩罚(权重),有助于保留深度估计结果的清晰度。
  • 分析现有网络中的估计误差比较大的图片。我们收集了这些难训练的图像场景。比如说特殊光照条件,动态对象,倾斜相机角度的深度数据。利用新设计的数据集来处理多样性的数据。实验结果表明我们的方法相比与仅使用NYUDv2 数据集更好且更具有泛化性。
上一篇:16多项式回归-房价与尺寸线性拟合


下一篇:2021-10-03