1. overview
note:
- 最大熵模型：是一种log linear模型（log（wTf（x））），f（x）是exponential function，所以加上log后变成linear模型。
log linear模型定义：A log-linear model is a mathematical model that takes the form of a function whose logarithm equals a linear combination of the parameters of the model, which makes it possible to apply (possibly multivariate) linear regression. 举个例子：x遵从多维高斯分布。在给定方差和均值的情况下，高斯分布的熵最大，也就是说高斯分布是随机性最高最平均的一种分布。 - 朴素贝叶斯模型：P（x given y） = product of P（xi given y）
在given y的基础上，各个x是相互独立的。y = 0 or 1因为朴素贝叶斯是为了解决一个分类问题。 - 隐马尔可夫模型：当y不再是一个需要被预测的target而是一个需要被预测的sequence时，NB就成了HMM。x间相互独立，x只取决于与其对应的y，y只取决于上一轮的y。
- 高斯混合模型：P（x given y）是高斯分布，y是离散随机变量 = 1，2，…， k
- MEMM: 一个判别模型，综合了HMM和MEM，打破了观测独立假设。
- CRF：把隐藏状态之间的“有向”变为无向，为了解决“局部概率分布需要归一化”的问题，变成了“全局归一化”。