文章：https://arxiv.org/pdf/2104.01108.pdf

代码：https://github.com/fanq15/GCoNet

摘要：

本文提出了实时（16ms）的共同显著性目标检测方法，基于以下两个原则同时挖掘组级别(group level)的共同表示：1、组内的紧实度(intra-group compactness) .为了更好的构建共同显著性物体之间的一致性，本文设计了创新的组关联模块(group affinity module)来捕获他们的固有共享属性（提取组内部的共性）; 2、组间的可分性(inter-group separability).为了有效的抑制噪声物体对输出的影响，本文设计组的合作模块(group collaborating module)来调节不一致的共识（提取组间的差异性）。在没有额外加算开销的前提下，为了更好的学到嵌入空间，本文采用辅助分类监督(auxiliary classification supervision).

通过摘要，本文要做三件事：1、增强组内的关联性；2、加大组间的差异性；3、更好的学习空间表示。

Introduction：

作者认为，组间的紧实度和组间的差异性都应该同时增大。

然而，现有的大多数方法只提取他们在单个组内的CoSOD表示，这对性能造成了限制：1、组内提取特征只是提供了积极关联，并没有提供不同类别物体间的消极关联。容易导致过拟合以及对离群图像不确定的结果；2、一个组内的图像数量很受限制，所以使用单个组无法提供充足的信息，难以学习差异表示；3、个别组在提供高级的语义信息方面存在短板。

针对上述问题，本文提出了组的共同学习框架(group collaborative learning framework,GCoNet)来挖掘不同图像组之间的语义关联，GCoNet包括三部分：组关联模块(group affinity module，GAM)、组的合作模块(group collaborating module，GAM)、辅助分类模块(auxiliary classification module, ACM).前二者的作用如摘要中所示，后者作用为在全局语义级别提升特征表示，在每个图像上学习更好的嵌入空间。

网络结构：

需要注意的几个点：1、Encoder是参数共享的(Decoder是不是也是共享的？文章没说，感觉应是)；2、GAM出来的结果是1*1*C，该模块类似于注意力；3、GCM和ACM只用于训练，不用于测试。

问题：

GCM的输出在哪里？ GCM的输出是预测出的图像，直接进行Loss。

 Depth-wise Correlations是什么意思？下面有解释

GAM是否参数共享？

GAM：

对于任意两个特征，使用内积来计算它们的像素级相关性:

这里的都是线性嵌入函数。

本模块可以理解为相同类之间的全局注意力，将上面计算两个相同类图像相关性的公式扩展到每个类中的全部图像，在经过如上图所示的后续计算步骤，可以计算同一类图像的全局注意力，即本文所说的注意力共识。

GAM的结果E^a与原特征的结合的结合并非常规注意力的相乘，而是采用了Depthwise Cross Correlation的方法，该方法与深度可分离卷积类似。这样做的原因是发现属于相同类的物体在相同的channel上响应度比较高，所以把输出的特征分组，按组来做相关操作，这样就会使得网络参数量大大降低。

将结果输入到Decoder得到的CoSOD结果与GT做Loss，采用的soft IOU Loss。

GCM：

在GCM块，学习组间的可分性。

应用组内的和组间的交叉相乘。和表示组内关系特征，将其经过小的CNN网络得到输出，可用GT作监督（积极关联）。和表示组间的关系特征，提供组间可分离的共性，将其经过小的CNN后，用全为0的图进行监督（消极关联）。

本模块使用的损失函数为focal loss.

ACM:

为了获得更多的分辨性的共性特征，引入ACM促进高级语义表示学习。在骨干网络后加一个分类预测器，该预测器包括一个全局平均池化层和一个全连接层。GT为对应的类别。损失函数为交叉熵损失函数。