几篇很神奇的文章

Ffjord虽然是很老的一篇文章,但是这个想法真的很惊艳。这里面最惊艳的大概就是把Normalizing Flow做成了连续形式,然后根据一个ODE的解法来进行。对于数学基础好的同学,这里面最重要的可以学习的是关于处理复杂度的处理,和Performer能学到的东西很类似。

BYOL是一个非常有意思的文章。在我印象中,例如基本依赖于负样本,类似于Triplet Mining。在相当的时间里面,我一直认为Constrast Learning的主要目的还是引入负样本。但是这篇文章告诉你,其实引入负样本反倒是不靠谱的。

Consistency Regularization for Variational Auto-EncodersDIVA: Domain Invariant Variational Autoencoders是两个相对来说比较新,但是看起来很好用的文章。当然具体有没有效果,对于VAE之类的文章肯定是要尝试的。但是这两篇文章很重要的一点是教会了我们如何灵活的应用ELBO。

最后,Planning to Explore via Self-Supervised World Models是一篇可以很好的和DreamerV2结合的文章。这里面核心思想就是通过模拟来计算Surprise,并应用于探索。

上一篇:PELCO-D与PELCO-P协议介绍


下一篇:蒸馏论文七(Variational Information Distillation)