天池龙珠计划深度学习训练营学习笔记
生成式模型与判别式模型
1. 判别式模型
判别式模型，即 Discriminative Model，又被称为条件概率模型，它估计的是条件概率分布(conditional distribution)， p(class|context) 。
2. 生成式模型
即 Generative Model ，生成式模型 ，它估计的是联合概率分布（joint probability distribution），p(class,context)=p(class|context)*p(context)
3. 常见模型
常见的判别式模型有 Logistic Regression，Linear Regression，SVM，Traditional Neural Networks Nearest Neighbor，CRF 等。
常见的生成式模型有 Naive Bayes，Mixtures of Gaussians， HMMs，Markov Random Fields 等。
4. 判别式模型与生成式模型比较
判别式模型 ，优点是分类边界灵活 ，学习简单，性能较好 ；缺点是不能得到概率分布 。
生成式模型 ，优点是收敛速度快，可学习分布，可应对隐变量 ；缺点是学习复杂 ，分类性能较差。
GAN的基本原理
GAN的原理很简单，它包括两个网络，一个生成网络，不断生成数据分布。一个判别网络，判断生成的数据是否为真实数据。上图是原理展示，黑色虚线是真实分布，绿色实线是生成模型的学习过程，蓝色虚线是判别模型的学习过程，两者相互对抗，共同学习到最优状态。
GAN的主要问题
GAN从本质上来说，有与CNN不同的特点，因为GAN的训练是依次迭代D和G，如果判别器D学的不好，生成器G得不到正确反馈，就无法稳定学习。如果判别器D学的太好，整个loss迅速下降，G就无法继续学习。
GAN的优化需要生成器和判别器达到纳什均衡，但是因为判别器D和生成器G是分别训练的，纳什平衡并不一定能达到，这是早期GAN难以训练的主要原因。另外，最初的损失函数也不是最优的，这些就留待我们的下篇再细讲吧，下面欣赏一下GAN的一些精彩的应用。