基于深度融合的RGBD显著目标检测

此文为07-ECCV-Accurate RGB-D Salient Object Detection via Collaborative Learning中所注明的RGB-D首例研究，故在此全文翻译。

摘要：RGBD显著性检测设计了各种低水平的显著性线索，如颜色和深度对比度特征以及背景和颜色紧致度先验。然而，这些低水平的显著性线索如何相互作用，以及如何有效地结合它们来生成主显著性图仍然是一个具有挑战性的问题。在本文中，我们设计了一种新的卷积神经网络（CNN）来自动学习RGBD显著目标检测的交互机制。与现有的将原始图像像素直接输入到CNN的方法相比，该方法利用了传统显著性检测中获得的知识，采用了各种灵活且可解释的显著性特征向量作为输入。这将引导CNN学习现有特征的组合，以便更有效地预测显著性，与直接对像素进行操作相比，这是一个不太复杂的问题。然后，我们将基于超像素的拉普拉斯传播框架与经过训练的CNN相结合，利用输入图像的内在结构来提取空间一致的显著性图。对三个数据集的大量定量和定性实验评估表明，所提出的方法始终优于最先进的方法。
关键词：RGBD显著性检测，卷积神经网络，拉普拉斯传播(Laplacian propagation)。

I 导言

显著性检测是预测人类在图像中的位置的一种方法，近年来引起了广泛的研究兴趣。它是许多任务的重要预处理步骤，如图像分类、图像重定目标和对象识别[1]、[2]、[3]、[4]。与RGB显著性检测不同，RGB显著性检测受到了大量的研究关注，但对RGBD案例的探索却很少。最近出现的传感技术，如飞行时间传感器和Microsoft Kinect，在捕获RGBD图像方面提供了卓越的能力和灵活性[5]，[6]。检测RGBD显著性已成为许多应用的必要条件，如3D内容监视、检索和图像识别[7]、[8]、[9]。在本文中，我们重点研究如何将RGB信息与附加深度信息结合起来进行RGBD显著性检测[10]，[11]。

根据使用的显著性定义，显著性检测方法可分为两类：自顶向下方法和自底向上方法[17]，[18]。自上而下的显著性检测是一个依赖于任务的过程，它结合了高级特征来定位显著对象。相比之下，自底向上的方法是无任务的，并且利用生物动机的低级特征来估计显著区域。现有的自底向上的显著性检测方法大多集中于设计各种低水平的线索来表示显著的对象。然后，基于这些低级特征生成的显著性图被融合到主显著性图中。由于人类的注意力优先被高对比度区域及其周围环境所吸引，因此基于对比度的特征（如颜色、边缘方向或纹理对比度）在显著对象的提取中起着至关重要的作用。背景[19]和颜色紧凑性优先[20]从不同角度考虑显著对象。前者利用了大多数显著对象远离图像边界的事实，而后者利用了显著对象的颜色紧凑性。除了RGB信息外，深度已被证明是提取显著性的实用线索[21]、[22]、[23]、[24]。大多数现有的3D显著性检测方法要么使用深度信息对RGB显著性贴图进行加权[21]，[24]，要么将深度线索视为独立的图像通道[22]，[23]。

图1：示出各种显著图合并方法的问题的示例。（a） 原始RGB图像。（b） 原始深度图像。（c） 地面真实显著图。（d） 由LMH生成的显著性图[12]。（e） 由ACSD生成的显著性图[13]。（f） GP生成的显著性图[14]。（g） LBE生成的显著性图[15]。（h） 至（j）显示（d）、（e）、（f）和（g）的显著性图积分结果。（h） 线性组合（即平均值）。（i） MCA集成[16]。（j） 基于CNN的融合。（k） 通过提出的超特征融合方法生成显著性图。

尽管这些特性已经证明是成功的，但是没有一个特性对所有场景都有效，因为它们从不同的角度定义了显著性。不同功能的组合可能是一个很好的解决方案。然而，手动设计一种交互机制来集成本质上不同的显著性特征是一个具有挑战性的问题。例如，线性组合这些特征产生的显著性图不能保证改进的结果（如图1h所示）。[25]、[26]、[16]、[27]、[12]、[14]中还提出了其他几种更复杂的组合算法。Qinet等人[16]提出了一种多层元胞自动机方法（MCA，一种贝叶斯框架），通过利用每种显著性检测方法的优点来合并不同的显著性图。最近，已经设计了几种启发式算法，用于将2D相关显著性映射与深度诱导显著性映射相结合[12]，[14]。然而，由于受计算显著值的限制，这些显著图组合方法无法纠正错误估计的显著区域。例如，在图1中，基于启发式的算法（图1d至1g）无法正确检测显著对象。当这些显著性图用于进一步融合时，简单线性融合（图1h）和MCA积分（图1i）都无法恢复显著对象。我们想知道是否可以通过进一步采用卷积神经网络技术来训练显著性图积分模型来开发一种好的积分方法来解决这个问题。图1j所示的结果图像表明，显著性图集成受到输入显著性图质量的强烈影响。基于这些观察，我们后退一步，考虑更为粗糙和灵活的显著性特征。