论文：https://openreview.net/forum?id=MJIve1zgR_
代码：https://github.com/facebookresearch/unbiased-teacher

本文主要和主流的STAC自训练框架相比，可以先了解一下STAC

STAC

论文：https://arxiv.org/pdf/2005.04757.pdf
代码：https://github.com/google-research/ssl_detection
解读：https://www.cnblogs.com/ldfhnb/p/14049468.html

流程：1.用已有的标签图像训练一个老师模型用来生成伪标签；2.用训练好的模型推理剩余的未标注的图像，生成伪标签；3.对未标注的数据进行增强，同步伪标签。4.使用半监督Loss来训练检测器。
核心：1.自训练；2.数据增强。

Unbiased Teacher for Semi-Supervised Object Detection

摘要：
半监督学习，即同时具有标记和未标记数据的训练网络，最近取得了重大进展。然而，现有的工作主要集中在图像分类任务上，而忽略了需要更多注释工作的目标检测。在这项工作中，我们重新审视了半监督目标检测（Semi-Supervised Object Detection，SS-OD）和确定伪标记偏差问题的SS-OD。为了解决这个问题，我们引入了Unbiased Teacher，一个简单而有效的方法，共同培养一个学生和一个逐步进步的教师在互惠互利的方式。由于过分自信的伪标签导致类别平衡下降，无偏见的教师在COCO标准、COCO附加数据和VOC数据集上不断改进最先进的方法。具体而言，当使用1%的MS-COCO有标签数据时，无偏教师相对于最先进的方法实现了6.8个绝对mAP改进，当仅使用0.5%、1%、2%的MS-COCO有标签数据时，相对于监督baseline实现了大约10个mAP改进。

介绍：

不同小规模监督学习上，引入无标签数据有明显效果，且效果比google的自训练框架STAC明显要好，对一些样本较少，标注困难的应用场景有很大帮助。

相关工作：
实验使用了detectron2的 faster rcnn + resnet50 + RPN进行实验。
在小规模有标签上对比了PRN和ROIhead的分类loss和坐标loss。

整体流程：
1.小规模有标签数据训练；
2.输入老师模型推理前，弱数据增强，生成伪标签；
3.学生模型利用伪标签，做强数据增强，增加样本多样性；
4.使用ema方法更新老师模型。

核心内容：
1.ema，老师和学生交互学习；
2.focal loss，解决数据不均衡问题；
3.数据增强（论文中没有做这个实验，但数据增强对自训练非常重要）；
4.阈值筛选，阈值过大会造成有用的伪标签被抛弃，阈值过小会引入错误的伪标签。

实验结果：
在小规模有标签数据情况下，mAP大约都有10个点的增益，效果还是很明显的。

消融实验：
1.ema效果

2.burn-in效果：

3.阈值筛选：