作者：CHEONG
公众号：AI机器学习与知识图谱
研究方向：自然语言处理与知识图谱
阅读本文之前，首先注意以下两点：
1. 机器学习系列文章常含有大量公式推导证明，为了更好理解，文章在最开始会给出本文的重要结论，方便最快速度理解本文核心。需要进一步了解推导细节可继续往后看。
2. 文中含有大量公式，若读者需要获取含公式原稿Word文档，可关注公众号【AI机器学习与知识图谱】后回复：变分推断第二讲，可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！
本文将先对变分推断所要解决的问题进行分析，然后给出基于Mean Field的变分推断解法。
一、本文结论
结论1： 变分推断的主要思想：在给定数据集 X X X下，问题是求后验概率 p p p，简单情况下后验概率 p p p可直接通过贝叶斯公式推导求出，但有些情况无法直接求解。因此变分推断想法是先假设另一个简单的概率分布 q q q，如高斯分布，通过优化 p p p和 q q q之间距离最小化，让概率分布 q q q逼近 p p p，这样就可以用概率分布 q q q近似表示后验概率 p p p。
结论2： 基于Mean Field的变分推断方法主要是假设将隐变量 z z z分成M个相互独立的部分 z = ( z 1 , z 2 , . . . , z M ) z=(z_1,z_2,...,z_M) z=(z1,z2,...,zM) ，当求 q j ( z j ) q_j(z_j) qj(zj)时固定剩下M-1个部分。
结论3： 基于Mean Field的变分推断方法存在的两个问题：（1）假设将 z = ( z 1 , z 2 , . . . , z M ) z=(z_1,z_2,...,z_M) z=(z1,z2,...,zM)分成M个相互独立的部分，然后固定其他依次求得 q j ( z j ) q_j(z_j) qj(zj)。这个假设太强烈，在一些问题是无法分成相互独立的各个部分；（2）最后求出来的 q j ( z j ) q_j(z_j) qj(zj)仍然需要进行求积分，在一些问题中，仍然可能是Intractable，无法求解的。
二、问题分析
观测数据Observed Data： X X X
隐变量Latent Variable： Z Z Z
完整数据Complete Data： ( X , Z ) (X, Z) (X,Z)
目的： 求数据的后验概率 p ( z ∣ x ) p(z|x) p(z∣x)，下面先给出变分推断的分析思路
首先由简单的联合概率分布的分解式引出问题，如下公式所示：
通过两边加log变形为：
为了近似求解后验概率 p ( z ∣ x ) p(z|x) p(z∣x)，我们需要先引入另一个分布 q ( z ) q(z) q(z)，整合进上面公式中：
接下来分别将上式的左边和右边部分对 q ( z ) q(z) q(z)进行积分：
其中
所以左边在积分后仍然是 l o g p ( x ) logp(x) logp(x)，接下来对右边部分进行积分：
其中前半部分是Evidence Lower Bound，简称为 E L B O ELBO ELBO：
后半部分是概率分布 p p p和 q q q的相对熵：
因此有：
因为当数据给定的情况下，左边 l o g p ( x ) logp(x) logp(x)是定值，即 E L B O + K L ( q ∣ ∣ p ) ELBO+KL(q||p) ELBO+KL(q∣∣p)是一个定值，而其中 K L ( q ∣ ∣ p ) KL(q||p) KL(q∣∣p)是大于等于0的，且 K L ( q ∣ ∣ p ) KL(q||p) KL(q∣∣p)越小代表概率分布 p p p和 q q q就越接近，也就是我们要优化的目标，但 K L ( q ∣ ∣ p ) KL(q||p) KL(q∣∣p)中包含后验概率不好直接优化最小，但因为 E L B O + K L ( q ∣ ∣ p ) ELBO+KL(q||p) ELBO+KL(q∣∣p)是定值，所以我们可以优化让 E L B O ELBO ELBO部分最大， K L ( q ∣ ∣ p ) KL(q||p) KL(q∣∣p)相对就越小，这样便可以用概率分布 q q q来代替 p p p了。
三、公式推导
通过上一小节的描述已经明确了变分推断需要优化的目标，总结为如下公式：
下面通过公式推导求解是的 E L B O ELBO ELBO最大的后验概率 q ( z ) q(z) q(z)的值，使用基于Mean Field的变分推断的解法求解后验概率分布 p ( z ∣ x ) p(z|x) p(z∣x)
先假设 z = ( z 1 , z 2 , . . . , z M ) z=(z_1,z_2,...,z_M) z=(z1,z2,...,zM)，并且这M份之间是相互独立的，则有：
接下来对 E L B O ELBO ELBO项进行展开，并将 q ( z ) q(z) q(z)的值代入：
下面为了简便，先做一下变量假设：
在推导 A A A和 B B B前，先固定 z = ( z 1 , . . . , z j − 1 , z j + 1 . . . , z M ) z=(z_1,...,z_{j-1}, z_{j+1}...,z_M) z=(z1,...,zj−1,zj+1...,zM)，先 z j z_j zj，接下来先推导 A A A
其中有：
因此可以得出 A A A的值如下：
接下来推导 B B B：
其中有：
因此得出了 B B B的值：
因为固定了 z = ( z 1 , . . . , z j − 1 , z j + 1 . . . , z M ) z=(z_1,...,z_{j-1}, z_{j+1}...,z_M) z=(z1,...,zj−1,zj+1...,zM)，只求未知量 z j z_j zj，所以：
其中 C C C是常量，至此有：
因此当KL取0时， E L B O ELBO ELBO能达到最大值，所以这里求出 q j ( z j ) q_j(z_j) qj(zj)：
其他的 q 1 ( z 1 ) , q 2 ( z 2 ) , , . . . , q M ( z M ) q_1(z_1),q_2(z_2),,...,q_M(z_M) q1(z1),q2(z2),,...,qM(zM)求解方法相同。这样求出了 q ∗ ( z ) q^{*}(z) q∗(z)求等价于求出了后验概率 p ( z ∣ x ) p(z|x) p(z∣x)。
正如文章开头结论所说，基于Mean Field的变分推断方法存在的两个问题，下一节变分推断将介绍另一种解法：基于随机梯度上升SGD的变分推断推导方案：
1、假设将 z = ( z 1 , z 2 , . . . , z M ) z=(z_1,z_2,...,z_M) z=(z1,z2,...,zM) 分成M个相互独立的部分，然后固定其他依次求得 q j ( z j ) q_j(z_j) qj(zj)。这个假设太强烈，在一些问题是无法分成相互独立的各个部分；
2、最后求出来的 q j ( z j ) q_j(z_j) qj(zj)仍然是求积分，在一些问题中，仍然可能是Intractable，无法求解的。