自监督论文 Self-supervised Visual Feature Learning with Deep Neural Networks

2024-01-04 18:33:28

自监督学习

自监督学习(Self-Supervised Learning)是一种介于无监督和监督学习之间的一种新范式，旨在减少深度网络对大量注释数据的需求。大量的人工标注的样本是费时耗力的。

它通过定义无注释(annotation-free)的前置任务(pretext task)，为特征学习提供代理监督信号。

在预训练阶段，使用伪标记当作标签进行网络权重训练。因此在自监督学习中，如何生成伪标记是前置任务的关键。

在前置任务训练完成后，可将学得的特征作为已训练的模型进一步迁移(迁移学习)到下游任务(downstream tasks)，使其获得更好的解的起点。