文章目录
1.背景
HMM就是隐马尔科夫模型，全称 Hidden-Markov-Model .这个模型在以前的NLP问题占据非常重要的地位，可以作自然语言处理，语音识别等功能。在讲具体模型之前，我们应讲讲整个学科的背景。HMM隐马尔科夫模型从根本上来说是一种概率图模型。
1. 1 频率派
一开始我们知道，机器学习大致可以分为两派，频率派和贝叶斯派，频率派逐渐发展成为一门叫统计机器学习的学科。它的核心问题是优化问题。比如李航老师的统计学习方法这本书中大部分算法都是属于优化层面的算法模型。
- 定义模型 Model :比如： f ( w ) = w T x + b f(w)=w^Tx+b f(w)=wTx+b
- 策略：strategy：损失函数
- 算法：梯度下降GD,随机梯度下降SGD，牛顿法，拟牛顿法
1.2 贝叶斯派
贝叶斯派逐渐发展成为一门叫概率图模型的学科。它的核心是推断inference问题，主要是求后验概率P(Z|X)。以及求关于后验概率的期望和方法，从而引出了积分问题，为了求积分，我们用数值积分的方式求解，常见的方法有MCMC方法，MCMC方法的提出让贝叶斯派有了实际的意义，不仅仅体现在理论上。
1.3 概率图模型
概率图模型根据是否有向分为两类，有向模型是贝叶斯网络Byaesion-Network,无向模型是马尔科夫随机场或马尔科夫网络。对于概率图模型加上时间序列就叫做动态模型。动态模型中的样本之间不是独立同分布的(
X
i
之
间
不
是
i
i
d
的
X_i之间不是iid的
Xi之间不是iid的)
- 比如高斯混合模型中加上时间序列后就组成了动态模型系统。动态模型可以看作是横向的时间+纵向的混合模型；动态模型如果系统状态Z是离散的，我们称为HMM隐马尔科夫模型；如果Z是连续的线性关系，我们称为卡曼滤波模型，如果Z是连续的非线性关心，我们称为粒子滤波模型；