最大似然估计与期望最大化(EM)算法

一、最大似然估计与最大后验概率

1、概率与统计

概率与统计是两个不同的概念。

概率是指:模型参数已知,X未知,p(x1) ... p(xn) 都是对应的xi的概率

统计是指:模型参数未知,X已知,根据观测的现象,求模型的参数

2、似然函数与概率函数

  • 似然跟概率是同义词,所以似然也是表示概率,但这个概率有些不一样。

似然是指:模型在不同参数下, p(x1) ... p(xn) 发生的概率

似然估计是指:模型的参数未知,X已知,根据观测现象(X),估计模型参数的过程

  • 最大似然估计(为什么要最大):

对于观测数据集x1,x2...xn, 在θ下发生的概率分别是p(x1|θ),p(x2|θ)... p(xn|θ), 所以出现该观测数据集的概率为 P(X|θ) = p(x1|θ)p(x2|θ)... p(xn|θ), 那想一想为什么我一下就会抽出x1, x2 ... xn这n个数据呢?一种直观的解释就是 它们发生的概率大,所以 就是求让 P(X)最大下的θ,这就是最大似然估计。

 3、最大后验概率

最大似然是求参数,让P(X|θ)最大,最大后验概率是让P(X|θ)P(θ)最大,相当于给似然函数加了一个关于θ的权重。

为什么要让 P(X|θ)P(θ) 最大?

想一想我们在干什么?我们是根据一群观测数据X = (x1, x2 ... xn) 估计模型的参数,即求 P(θ0 | X),  用贝叶斯改一下就是

P(θ0 | X) = P(X|θ0) P(θ0) / P(X) , 对于给定的观测序列X来说P(X)是固定的,所以我们求后验概率P(θ0 | X)最大就是求P(X|θ0) P(θ0)最大

对于

上一篇:菜鸟-手把手教你把Acegi应用到实际项目中(5)


下一篇:菜鸟-手把手教你把Acegi应用到实际项目中(4)