高斯混合和EM算法

首先介绍高斯混合模型:

高斯混合模型是指具有以下形式的概率分布模型:

高斯混合和EM算法

一般其他分布的混合模型用相应的概率密度代替(1)式中的高斯分布密度即可。


给定训练集高斯混合和EM算法,我们希望构建该数据联合分布高斯混合和EM算法高斯混合和EM算法

这里高斯混合和EM算法,其中高斯混合和EM算法高斯混合和EM算法是概率高斯混合和EM算法,并且高斯混合和EM算法,用高斯混合和EM算法表示高斯混合和EM算法可能的取值。

因此,我们构建的模型就是假设高斯混合和EM算法是由高斯混合和EM算法生成,而高斯混合和EM算法是从高斯混合和EM算法中随机选择出来的,那么高斯混合和EM算法就服从高斯混合和EM算法个依赖于高斯混合和EM算法的高斯分布中的一个。这就是一个高斯混合模型

高斯混合和EM算法是潜在随机变量,即它是隐藏的或者观察不到的,这将使得估计问题变得棘手。

上面公式太多,作一个总结,总体意思是高斯混合和EM算法关于高斯混合和EM算法的条件分布符合高斯分布(即正态分布),这个高斯混合和EM算法是潜在变量,它的值未知,但是高斯混合和EM算法服从多项式分布,于是高斯混合和EM算法关于高斯混合和EM算法的条件分布就是高斯混合模型,而高斯混合和EM算法是一个潜在变量,值不确定,进而导致高斯混合模型的概率估计也变得棘手。

可以看出,我们构建的高斯混合模型参数有高斯混合和EM算法高斯混合和EM算法,为了估计出这些参数,写出参数的似然函数:

高斯混合和EM算法

变量高斯混合和EM算法意味着每一个高斯混合和EM算法来自于高斯混合和EM算法个高斯分布中的哪一个,如果我们知道变量高斯混合和EM算法的值,最大化似然函数问题将变得容易,似然函数将会变成如下形式:

高斯混合和EM算法

那么参数的最大似然估计可以计算出:

高斯混合和EM算法

可以看出,当高斯混合和EM算法已知的时候,最大似然函数的的估计与前面讨论过的高斯判别分析模型(关于高斯判别模型参见生成式学习算法)几乎一样,除了这里高斯混合和EM算法替代了高斯判别模型中类别标签的角色。

但是在这个问题中高斯混合和EM算法是未知的,该怎么办?就得运用EM算法。在应用到我们的这个问题中,EM算法分两步,在E步骤中,算法试图猜测出高斯混合和EM算法的值,在M步骤中,根据E步骤猜测的值更新参数。需要注意的是在M步骤中假定E步骤中的猜测是正确的,算法流程如下:

E-step: 对于每一个高斯混合和EM算法,令:

  高斯混合和EM算法

M-step: 更新参数:

  高斯混合和EM算法

重复上面两步直至收敛(参数不再发生明显变化)

在E-step中计算高斯混合和EM算法关于高斯混合和EM算法的后验概率时,参数高斯混合和EM算法高斯混合和EM算法用的都是当前的值,第一步时可以随机初始化,用贝叶斯公式,我们可以得到:

高斯混合和EM算法

分子上的高斯混合和EM算法是由均值为高斯混合和EM算法,方差为高斯混合和EM算法的高斯分布在高斯混合和EM算法处的概率密度给出,高斯混合和EM算法由参数

高斯混合和EM算法给出. 在E-step中对高斯混合和EM算法的猜测只是猜测它是某个值得概率,被称作“软猜测”,与之对应的“硬猜测”就是一个最好的猜测,即不是0就是1.

和上面我们在推导高斯混合和EM算法已知时,参数估计的公式相比,EM算法中的参数更新仅仅是用高斯混合和EM算法代替了高斯混合和EM算法.

EM算法和k-means算法(参考我的博文K-means聚类算法原理和C++实现)很类似,除了k-means是一个“硬” 类别分配(为每个样本选择一个确定的类别),而这里是以概率高斯混合和EM算法的“软”分配(就是高斯混合和EM算法取某个值的概率)。同k-means一样,EM算法也容易陷入局部最优,所以多次运行,每次都将参数初始化为不同的值将会是一个很好的解决办法。

EM算法就是不断重复猜测高斯混合和EM算法的值,但是到底是如何进行的呢,如何保证收敛性呢,在下一篇博文将继续讨论,从而使得EM算法能够更加容易应用到各种存在潜在变量的参数估计问题中,而且将讨论如何保证算法收敛。

上一篇:Window10 VS2019配置tesseract源码


下一篇:win10 安装虚拟机问题