An Introduction to Variational Methods (5.2)

我们现在已经得到了关于潜在变量Z的优化分布的表达形式:

An Introduction to Variational Methods (5.2)

其中:

An Introduction to Variational Methods (5.2)

所以现在我们可以得到Z的期望:

An Introduction to Variational Methods (5.2)

另外对于Z还值得一提的是,我们从其优化分布的表达式中可以看出,各个Z的组成部分之间还是相互耦合的,所以需要一个迭代的求解方式。

解决了关于Z的一些遗留的问题,我们可以继续讨论如何求解余下的参数。同样的,我们的基本想法,还是将其带入我们之前所求到的公式中去,从而,我们有:

An Introduction to Variational Methods (5.2)

现在,我们回头去观察一下这个混合高斯分布的图模型,我们会发现,在控制变量中,本身存在一个独立性,即:

An Introduction to Variational Methods (5.2)

从而,在近似模型中,我们有:

An Introduction to Variational Methods (5.2)

于是,我们从这些参数的优化表达式中,分别提取出只关于部分参数的式子,进行进一步优化,即:

An Introduction to Variational Methods (5.2)‍‍

现在,我们对上式两边同时求指数运算,则:

An Introduction to Variational Methods (5.2)

看到这个形式是不是觉得非常熟悉呢?没错,这是一个Dirichlet分布的标准形式,从而我们可以得到关于pi的优化分布:

An Introduction to Variational Methods (5.2)

其中

An Introduction to Variational Methods (5.2)

我们现在可以开始讨论最后两个参数了。虽然我们知道余下的两个参数之间有依赖关系,从而不能分解成为两个边缘分布的乘积,但是我们依然可以根据product-rule将其分解成为:

An Introduction to Variational Methods (5.2)

现在,我们从之前的求解式中将只含有这两个变量的部分提取出来,于是我们得到:

An Introduction to Variational Methods (5.2)

观察这个式子,我们发现其实对于K组参数,这个式子都是同样的,所以我们可以单独只考虑其中一组变量:

An Introduction to Variational Methods (5.2)

我们对两边同时进行指数运算,则有:

An Introduction to Variational Methods (5.2)

现在我们来分别看看这些分布的形式:

An Introduction to Variational Methods (5.2)
An Introduction to Variational Methods (5.2)

其中,B是Wishart分布的归一化常数

An Introduction to Variational Methods (5.2)

其中:

An Introduction to Variational Methods (5.2)

我们注意上面这个式子,它的指数部分,展开之后,可以得到:

An Introduction to Variational Methods (5.2)

观察这个式子,我们发现,其中关于mu的二阶式和一阶式,也就是上面这个式子的前三项,和mu本身的分布合并,可以化归成为一个新的Gaussian分布;而上面式子的最后一项,则可以被Lambda的Wishart分布所吸收合并,成为一个新的Wishart分布。这样,我们就找到了这两个参数的分布形式,他们是一个新的Gassian-Wishart分布:

An Introduction to Variational Methods (5.2)

其中,定义了:

An Introduction to Variational Methods (5.2)

上一篇:Package org.xml.sax Description


下一篇:[转]超级强大的SVG SMIL animation动画详解