本文提出了一种动态锚学习(DAL)方法,利用新定义的匹配度综合评价锚的定位能力,进行更有效的标签分类过程。
introduction
作者发现正锚框和负锚框的划分并一定是与检测性能相关,高质量的锚框不一定能输出更好的结果,低质量的也不一定输出的是差的结果。
如图1,a表明高输入的IoU的锚并不能保证完美的检测,图中绿框就没有对齐。而在图b中,锚框的质量比较低,其与GT框的空间对齐差,但是仍然有可能对目标进行精确定位,但是由于被分为负样本,分类置信不高,最后不会被检测输出。
输入IoU为GT框和锚框之间的IoU,输出IoU为GT框和回归框之间的IoU。
针对这个现象,作者统计了所有候选锚定位性能的分布,以探索这一现象是否普遍,结果下图所示。
(a)只有74%的正样本锚在回归后能够很好地定位GT(输出IoU大于0.5),说明引入了很多假正样本。
(b)只有42%的高质量检测(输出IoU大于0.5)来自匹配的锚点,这意味着相当多的负锚点(本例为58%)具有实现精确定位的潜力。
(c)目前的标签分配导致分类置信度与输入IoU之间的正相关。
(d)高性能检测结果的定位能力与分类置信度之间的相关性较弱,不利于在推理过程中通过分类得分选择准确的检测结果。
此外,锚回归前后的定位性能不一致性进一步导致分类与定位不一致。输入IoU并不完全等同于定位性能,大量的高输出IoU的回归框被误判为背景。
为了解决这个问题,作者提出了一种动态锚学习(DAL)方法来更好地分配标签。
首先,设计匹配度(md)来评估锚点的定位潜力,其考虑了空间对齐的先验信息、定位能力和回归不确定。然后,用匹配度进行训练样本的选择,帮助消除假的正样本,动态挖掘出潜在的高质量的候选样本,并抑制回归不确定性带来的干扰。接下来,提出了匹配敏感损失函数,进一步缓解分类和回归之间的不一致性,使分类器能够更好的区分具有较高定位性能的候选样本,最终实现高质量的检测。
本文主要贡献:
- 我们发现基于IoU的标签分配会导致定位能力的次优评估,进而导致分类和回归性能的不一致。
- 引入匹配度来衡量锚的定位能力。为了实现高质量的检测,提出一种基于该指标的标签方法。
- 提出了匹配敏感损失,缓解了分类与回归之间的弱相关性问题,增强分类器对高质量样本的识别效果。
建立在RetianNet的旋转检测器
作者采用单级检测器RetinaNet作为基线模型,其骨干网络为ResNet-50,采用类似FPN的结构构造多尺度特征金字塔。本文认为旋转锚是低效和不必要的,所以没有使用旋转锚。
引入了角度参数,对于边框回归,其偏移量的计算公式为:
其中x,y,w,h,θ分别表示中心坐标、宽度、高度和角度,x和xa分别为预测框和锚,真实标签框偏移多任务损失为:
其中,p值和向量t分别表示预测的分类评分和预测的框偏移量。变量p *表示锚的类别标签(正样本p * = 1,负样本p * = 0 )。
动态锚选择
匹配度:利用 空间的先验信息、特征对齐能力和锚点的回归不确定来衡量定位能力:
其中sa表示空间对齐的先验,其值等价于输入IoU。fa表示通过IoU计算GT框与回归边框之间的特征对齐能力。α和γ是用来衡量不同项目的影响的超参数。u是惩罚项,表示训练过程中的回归不确定性。它通过回归前后的IoU变化得到的:
抑制回归过程中的干扰对高质量的锚点采样和稳定的训练至关重要。IoU回归前后的变化表示锚点评估错误的概率。
在训练阶段,首先计算GT 框与锚的匹配度,然后选择匹配度高于一定阈值(本文的实验设置为0.6)的锚为正锚,其余为负锚。之后,对于不匹配任何锚的GT,匹配度最高的锚将被补偿为正候选锚。为了实现更稳定的培训,在训练过程中逐步调整输入IoU的影响。具体调整时间表如下
Max_Iteration为迭代次数的总和,α0为公式(3)中出现的最终加权因子。
匹配敏感损失(MSL)
将匹配度融入训练过程,提出了匹配敏感损失函数:
其中Ψ和Ψp分别表示所有锚点和匹配度阈值选择的正样本。N和Np表示锚框总数和锚的总数,FL函数RetinaNet定义的facal loss。Wj表示匹配补偿因子,用于区分不同定位潜力的正样本。对于每一个真实标签框g,首先计算它所有锚的匹配度md。然后根据确定的阈值被选择正候选锚,其匹配度用mdpos表示。假设g的最大匹配程度是mdmax,补偿值表示为Δmd,则有:
将各正数的匹配度Δmd相加形成匹配补偿因子:
检测器利用匹配补偿因子,对不同定位能力的正样本进行不同的处理,更加关注高定位潜力的候选对象。由于匹配度衡量的是锚的定位能力,因此可以进一步利用匹配度促进高质量的定位。匹配敏感 的损失函数为:
其中LsmoothL1表示回归时的smooth-L1损失。在回归损失中嵌入匹配补偿因子w,避免高质量正数的损失贡献淹没在与GT框空间对齐性较差的样本的显性损失中。从图3 ( a )可以看出,分类评分与回归框的定位能力之间的相关性不够强,导致分类置信度选取的预测结果有时不可靠。经过匹配敏感损失训练后,如图3 ( b )所示,较高的分类评分准确表征了输出IoU所代表的较好定位性能,验证了所提方法的有效性。