GAN(Generative Adversarial Nets),产生式对抗网络
存在问题:
1.无法表示数据分布
2.速度
3.resolution太小,大了无语义信息
4.无reference
5.intend to generate same image
论文摘要:
1、Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing Systems. 2014.
做如下优化:
全局最优解为:
训练过程:
算法描述:先优化discriminator,再训练generator
latent code插值后出现了渐变特效:
2.Mirza, Mehdi, and Simon Osindero. "Conditional generative adversarial nets."arXiv preprint arXiv:1411.1784 (2014).
优化目标:
好像就是加了label信息。
3.Denton, Emily L., Soumith Chintala, and Rob Fergus. "Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks."Advances in neural information processing systems. 2015.
不知道这篇论文正式发表没有。这篇论文似乎就是做了一个GAN和提高分辨率的结合。不过本来就没有什么语义信息的图片,就算提高分辨率感觉也没什么用,所以感觉96x96分辨率的结果没什么意义。
原理:
整个test过程为:
整个train过程为:
一些例子:
4.Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).
这篇论文也不知道发表没有。
用了很多trick,什么batchnorm,全卷积无全连接,无pooling,用了LeakyReLu。
网络结构:
个人感觉效果还不错:
进行了有趣的实验:
5.Salimans, Tim, et al. "Improved techniques for training gans." arXiv preprint arXiv:1606.03498 (2016).
提出了一些改进的trick。
用feature算距离
加label
效果:感觉没什么语义信息
6.Chen, Xi, et al. "InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets." arXiv preprint arXiv:1606.03657 (2016).
主要是为了解决产生一样的sample的问题
公式:
结果: