Prime Sample Attention in Object Detection

论文链接：https://arxiv.org/abs/1904.04821
发表出处：2019 CVPR
1.背景
现在的目标检测办法主要用的是region-based 方法。因此region sample的选择对于检测结果来说是很重要的，然而很多的sample位于图像的背景区域，所以简单的选择所有sample或者随意选择一些是一种不合理的办法。
已经有一些研究表明主要关注一些困难的sample是一个比较有效的办法。代表的有OHEM和Focal Loss。OHEM主要选择hard samples比如说有着高的loss值。Focal Loss是给loss function换了一种形式来强调difficult samples。
2.观点
作者认为在目标检测框架中，每个mini batch中的样本既不是独立的也不是同样重要的，所以一个平均的结果并不能意味是一个更高的mAP，文章通过研究不同样本对以mAP为衡量的整体绩效做出贡献的方式来重新研究不同样本的作用。
3.贡献
提出了Prime Sample Attention(PISA)的抽样和学习策略
提出IoU-HLR，Score-HLR：对目标检测算法产生的经过回归后的region proposals（候选区域）的正、负样本分别进行排名，选出其中的重要样本Prime samples
提出的CARL损失：在训练过程中对Prime samples进行加权，并抑制不重要的样本，从而提升检测器性能。
4.Prime Sample
我们的目的是提高mAP，首先就要了解什么是mAP，AP就是ROC曲线下的面积。在绘制ROC曲线时，检测框的置信度决定了该检测框是否被保留，该检测框与标注框的IOU决定了该检测框是否对应了真实目标，这两个方面都影响了TP,FP和Recall,Precision和AP.
根据map的定义，哪些正样本比较重要？
mAP的工作方式揭示了两个标准:
（1）在与ground truth物体重叠的所有包围盒中，IoU最高的那个是最重要的，因为其IoU值会直接影响 recall。 （2）在所有不同对象的最高IoU边界框中，具有较高IoU的边界框更为重要，因为随着θ的增大，它们是最后一个低于IoU阈值θ的边界框，因此对总体精度有很大影响。
在这些标准上，正样本中IoU高的样本对于目标检测器而言更为重要。
根据map的定义，哪些负样本比较重要？
（1）在本地区域内的所有负样本中，得分最高的样本最为重要。 （2）在不同地区的所有得分最高的样本中，得分较高的样本更为重要，因为它们是第一个降低精度的样本。
在负样本中，因为很多的负样本会通过NMS（非极大值抑制）而去掉。所以，如果一个负样本旁边有个得分更高的样本，那么这个负样本就不重要，因为它会被NMS去掉。
在这些标准上，负样本中得分高的样本对于目标检测器而言更为重要。
所以，所谓的prime sample其实是正样本中IoU高的样本和负样本中得分高的样本
5.IoU-HLR和Score-HLR
根据样本的重要性将样本分为各个级别Hierarchical Local Rank (HLR).：
正样本的分级方法是基于IOU的，所以成为IoU Hierarchical Local Rank (IoU-HLR)。负样本的分级方法是基于Score的，所以叫做Score Hierarchical Local Rank (Score-HLR)。
IoU-HLR:
（1）获得不同标注框的正样本候选框的IOU
（2）根据IOU将候选框分为不同的rank，IOU最大的为top1rank，从而获得局部的rank
（3）不同目标的对应的rank组合在一起，并按照他们的IOU排序，这是全局的rank
（4）最后得到排序结果
这样排序的原因：满足了上面的两个原则
第一个是，同一目标，IOU最大的最重要，它将那些局部排序较高的样本放在前面，这些样本对于每一个单独的gt来说是最重要的；
第二个是，不同目标，IOU大的更重要，在每个rank组内，根据IoU对样本进行重新排序
右侧是负样本按照SCORE的排序方式，他和前面的排序方式是类似的

6.PISA
如果我们只用top IoU-HLR samples进行训练，mAP就会下降的很厉害因为大多数prime sample都是很容易训练的所以不能提供足够的梯度来优化classifier，所以本文提出了Prime Sample Attention，一个简单有效并且可以更关注于prime samples。 PISA包括2个部分，Importancebased Sample Reweighting (ISR) and Classification Aware Regression Loss (CARL)。 在PISA的作用下，训练进程更加偏向于prime samples而不是平均对待samples。
7.ISR
这篇文章提出了一种soft Sampling 的方法—— Importance-based Sample Reweighting (ISR), 它根据重要程度给samples分配了不同的loss weights
用线性方程可以将r_i(第i个样本所在的rank）转换为u_i（类别j的第i个样本的重要性），如下所示：

u_i 和w_i存在着一个简单的递增的关系

之后，cross entropy classification loss可以被改写为：

n和m分别是正样本和全部样本的总量。注意到简单的增加loss weights将会改变loss的全部值和正样本负样本之间的比例，所以我们将w_i归一化到 w_i^’为了保证全部正样本的loss不变。
8.Classification-Aware Regression Loss
受到分类和定位是相关的，由此受到启发，作者提出了另一种方法来关注主要样本。作者提出使用分类感知的回归损失(CARL)来联合优化分类和回归两个分支。CARL可以提升主要样本的分数，同时抑制其他样本的分数。回归质量决定了样本的重要性，我们期望分类器对重要样本输出更高的分数。两个分支的优化应该是相互关联的，而不是相互独立的。
9.实验结果