摘要

最近的研究表明，良好的特征嵌入是获得良好的学习性能的关键。我们观察到具有不同交并比(IoU)分数的目标候选框类似于对比方法中使用的图像内增强。 我们利用这种类比，并结合监督对比学习，以实现更稳健的对象表示在FSOD。 我们提出了通过对比建议编码(FSCE)进行小样本目标检测，这是一种简单而有效的学习对比感知对象建议编码的方法，它有助于对检测到的目标进行分类。 通过对比建议编码损失(CPE损失)，通过促进实例级的类内紧性和类间方差，缓解了分类错误问题。

方法

首先使用base 数据集训练一个标准的Faster RCNN，之后使用采样平衡的base类数据集和novel类数据集进行微调。backbone在微调过程中被冻结，ROI特征使用对比目标监督，联合训练对比建议候选框编码损失（CPE）和原始的分类任务。

引入一个对比分支去知道ROI特征去学习contrastive-aware proposal embedding。设计了一个对比的目标，以最大化within-category agreement和 cross-category disagreement.。

1、Strong baseline

存在的问题：
（1）RPN在级微调阶段每个图像的平均positive anchors是基础训练阶段的1/4，并且在微调的开始时，新对象的正锚从RPN得到的分数相对较低。由于客观性得分较低，较少的正锚可以通过非最大抑制(NMS)，并成为为新对象提供实际学习机会的建议。
本文的方法：
使用未冻结的RPN和ROI进行两个修改：
（1）在nms之后保留双倍的proposal
（2）将用于损失计算的RoI头中采样提案的数量减半，如在微调阶段，丢弃的一半只包含背景(标准RoI批处理大小为512，前景提案的数量远小于其中的一半)。
结果：

2、Contrastive object proposal encoding

类别级positive-margin classifer 在数据匮乏的设置中不起作用。为了从少量数据中学习到更鲁棒的表示特征，本文建议将批处理对比学习[34]应用于显式地建模对象建议嵌入的实例级类内相似性和类间区别[29,26]。为了将对比表示学习融入Faster R-CNN框架，引入了与分类分支和定位分支平行的contrastive分支。对比分支应用一层多层感知器(MLP)头，将RoI特征编码到对比特征 z ∈ R D C z\in{R^{D_C}} z∈RDC​，默认情况下 D C D_C DC​=128。之后度量在MLP头编码的RoI特征上的对象提案表示之间的相似度分数，并优化了一个对比目标。
采用余弦相似性来度量，预测第 i i i个实例是第 j j j个类别的分数由 x i x_i xi​的ROI特征和类权重 w j w_j wj​的余弦相似性来计算的：

对比对象方案嵌入形成了更紧密的簇，不同簇之间的距离增大，从而提高了检测模型在小样本设置中的通用性。

3、Contrastive Proposal Encoding (CPE) Loss

对于有N个RoI box feature的mini-batch { z i , u i , y i } i = 1 N \{z_i,u_i,y_i\}^N_{i=1} {zi​,ui​,yi​}i=1N​, z i z_i zi​是contrastive head 编码RoI特征为第 i i i个区域的proposal， u i u_i ui​是与gt之间的IOU分数， y i y_i yi​是gt的标签：

N y i N_{y_i} Nyi​​是与 y i y_i yi​有相同标签的proposal数量， t t t是超参数， z i ~ = z i ∣ ∣ z i ∣ ∣ \tilde{z_i}=\frac{z_i}{||z_i||} zi​~​=∣∣zi​∣∣zi​​ ， z i ~ . z j ~ \tilde{z_i}.\tilde{z_j} zi​~​.zj​~​代表余弦相似性。
**Proposal consistency control **
与语义信息来自整个图像的图像分类不同，检测中的分类信号来自区域建议。 我们建议使用IoU阈值来确保用于对比的建议的一致性，同时考虑到低IoU建议偏离回归对象的中心太多，因此可能包含不相关的语义。 f ( u i ) f(u_i) f(ui​)控制proposal的一致性：

ϕ \phi ϕ=0.7
g ( u i ) g(u_i) g(ui​)可以为不同的函数，比如： g ( x ) = x g(x)=x g(x)=x, g ( x ) = e x − 1 g(x)=e^x-1 g(x)=ex−1
总损失：