转自：https://zhuanlan.zhihu.com/p/25518643
上一期探讨了变分自编码器模型（VAEs），本期继续生成模型的专题，我们来看一下条件概率版本的变分自编码器（CVAEs）。（对应的，另一类生成模型GANs也有条件概率版本，称为CGANs。）
VAE回顾
VAE的目标是最大化对数似然函数
其中，
由于KL散度非负，对数似然函数的变分下界即为上式中的项。一般来说，
是未知的，或者难以获得显式表达式的，因此，直接优化对数似然函数是不可行的，一般转而优化它的变分下界，即上式中的
项。Diederik P.Kingma和Max Welling提出了两个算法SGVB和AEVB去估计
。
CVAE
VAE用的训练集是数据。当生成数据时，由隐变量
控制生成数据
，如果我们现在有的数据不只是
，我们还有关于数据
的一些额外信息
，最简单的，以手写数字为例，它的标签0-9，那么我们是否能够利用上这些额外的信息呢？
CVAE-1
一个简答的想法，考虑条件概率分布，套用原来的VAE模型，我们不难作出以下推导：
于是
其中，
类似于VAE，套用SGVB算法，再做一下reparameterization，取适当的分布和网络，我们就得到了一个CVAE模型。
我们姑且称这个版本的CVAE为CVAE-1模型，没错，CVAE模型不止一个......
CVAE-2
此外，与CGAN一样，我们一般假设额外信息与隐变量
没有直接的关系，因此条件概率
，于是变分下界可以写成
这在文献[3]中提到过。姑且称这个版本为CVAE-2模型。
CVAE-3
这就完了吗？文献[2]会告诉你，不要着急，我们也提出了一种CVAE。文中提出的方法不是产生数据，而是直接考虑预测问题：预测数据
的标签
。什么意思呢？它的似然函数是
而不是
。而这个推导也不难，事实上，把
看成我们要生成的“数据”，
看成是“标签”，在上面推导的结果里面直接交换
的位置，就得到了
其中，
同样地，对做一下reparameterization，写成
。再取适当的分布和网络，就可以了。值得一提的是，我们会在模型中设定适当的分布
，当训练完了以后，可以把模型当成一个分类器，预测输入
的标签：
上面的预测涉及到求期望，除非有显式结果，否则一般采用均值去近似期望：
姑且这个模型称为CVAE-3，它的图模型结构如下：
CVAE-4
非常抱歉地告诉你，CVAE模型还没完。文献[3]提出了CMMA模型（conditional multimodal autoencoder），实际上它也可以看成是条件版本的VAE。一般来说，我们考虑的CVAE或者CGAN的图模型是长这样的：
它的特点是一般是相互独立的。而CMMA考虑的图模型是长这样的：
这个模型的特点是隐变量是由额外信息确定的，
。整个推导过程跟CVAE-1一模一样，应用
以后，变分下界可以简化为：
姑且称CMMA模型为CVAE-4。CVAE-4模型将标签信息编码到隐变量中，作者指出，这样做的效果更好。
当然，针对具体的问题，还有一些不一样的CVAE设计，例如，文献[1]用CVAE做半监督学习，用到的CVAE又与上面介绍的有所不同。根据具体问题，有些模型还会对目标函数添加一些惩罚项。
VAE是个贝叶斯模型，它的条件概率版本根据取条件概率的形式的不同，自然会出现多种多样的模型。
代码
1. RuiShu/cvae: Conditional variational autoencoder implementation in Torch
2. kastnerkyle/SciPy2015: Talk for SciPy2015 "Deep Learning: Tips From The Road"
3. Tutorial on Variational Autoencoders
5. jramapuram/CVAE: Convolutional Variational Autoencoder
参考文献
1. Kingma D P, Mohamed S, Rezende D J, et al. Semi-supervised learning with deep generative models[C]//Advances in Neural Information Processing Systems. 2014: 3581-3589.
2. Sohn K, Lee H, Yan X. Learning structured output representation using deep conditional generative models[C]//Advances in Neural Information Processing Systems. 2015: 3483-3491.
3. Pandey G, Dukkipati A. Variational methods for conditional multimodal learning: Generating human faces from attributes. arXiv preprint[J]. arXiv, 2016, 1603.
4. Walker J, Doersch C, Gupta A, et al. An uncertain future: Forecasting from static images using variational autoencoders[C]//European Conference on Computer Vision. Springer International Publishing, 2016: 835-851.
5. Doersch C. Tutorial on variational autoencoders[J]. arXiv preprint arXiv:1606.05908, 2016.