Adaptive Consistency Regularization for Semi-Supervised Transfer Learning

论文题目：自适应一致性正则化方法用于半监督迁移学习
作者单位：百度大数据研究院
作者：Abulikemu Abuduweili
代码地址：https://github.com/SHI-Labs/Semi-Supervised-Transfer-Learning

摘要

近来，半监督学习模型在处理带标签数据不全的任务中有着优异的表现。但它们的参数都是随机初始化的。而本文是结合了迁移学习和半监督学习，即利用预训练模型和半监督所用的标记/未标记的数据达到更好的效果。如何结合二者，本文引入了自适应一致性正则化方法。它由两个互补的组件组成：源模型和目标模型之间的自适应一致性，有标签和无标签数据支架的自适应一致性。一致性正则化的例子是根据它们对目标任务的潜在贡献进行自适应的选择。
现有的最先进的半监督方法：伪标签，Mean Teacher，Fix Match（固定匹配）.
实验数据集： CIFAR-10, CUB-200, and MURA。

小结：本文提出了结合 半监督+迁移 两种方法的思想，并设计了一个自适应一致性正则化方法来加以实现。所以懂得这几个方面的知识就算合格了。

引言：
半监督学习的优点比比皆是，当然对比对象是监督学习，能够更好的利用带标签和无标签的数据，具有更广泛的应用性。现有的SOTA方法主要有三类：基于正则化方法的一致性、熵最小化、伪标签。
虽然大多数工作都集中于从头开始训练随机初始化模型的一般设置，但我们考虑了一个更现实的设置，利用强大的预训练模型，该模型充分适合大规模数据集的一般目的，如ImageNet[6]和Places365[54]。