对比自监督学习——资料整理和汇总

关于对比自监督的学习,看这篇文章来进行引入,是一个很好的方法,

大佬的解读 https://space.bilibili.com/626918756,其中特别是SimCLR这篇,一定要看一看,https://www.bilibili.com/video/BV1bD4y1S7nZ

 

然后一些文献综述的解读,这个是这篇文献综述的中文翻译版,翻译的挺好的,一定要看看,

然后一些有里程碑性质的文章:

Bootstrap Your Own Latent 这个文章呢,就是说,我不用负样本也可以把模型训练的很好,但是被认为是在一些工程的细节角度还是利用了负样本采样的思想,还有一些其他人写的解读:一个大佬写的视频解读https://www.bilibili.com/video/av712429081/

What Makes for Good Views for Contrastive Learning 这个是篇好文章,意思大概就是用一个GAN来学习出一个最好的对positive sample的变换,更多的解读可以看看这一篇文章

然后这个是InfoNCE提出的那篇文章,其实就是在NCE(负采样估计的基础上把mutual information的估计引入进来了呗),链接可以看这个,这个是代码的介绍 https://github.com/jefflai108/Contrastive-Predictive-Coding-PyTorch

知乎:大佬的文章 关于自监督学习是一个系列

 

Adversarial Self-Supervised Contrastive Learning https://papers.nips.cc/paper/2020/file/1f1baa5b8edac74eb4eaa329f14a0361-Paper.pdf

On the surprising similarities between supervised and self-supervised models https://openreview.net/pdf?id=q2ml4CJMHAx

AutoAugment: Learning Augmentation Strategies from Data https://arxiv.org/pdf/1805.09501.pdf

AutoAugment: Learning Augmentation Policies from Data

上一篇:我的视频up主之路——技巧篇


下一篇:opc da和ua学习