它是一个二值函数，当 $x$ 和 $y$ 满足这个事实时取值为 $1$，否则取值为 $0$。

　　特征函数 $f(x,y)$ 关于经验分布 $\widetilde{P}(X,Y)$ 的期望值，用 $E_{\widetilde{P}}(f)$ 表示:

　　　　$E_{\widetilde{P} }(f)=\sum \limits _{x,y}\widetilde{P}(x,y)f(x,y)$  

• PS：期望=x*概率 

　　特征函数 $f(x,y)$ 关于模型 $P(Y|X)$ 与经验分布 $\widetilde{P}(X)$ 的期望值，用 $E_{{P}}(f)$ 表示:

　　　　$E_{P}(f)=\sum \limits _{x,y}\widetilde{P}(x)P(y|x)f(x,y)$

• PS：1、$P(X,Y)=P(X)P(Y|X)$，联合分布=条件分布 * 边缘分布   2、这里采用经验分布$\widetilde{P}(x)$代替边缘分布$P(x)$）

　　如果模型能够获取训练数据中的信息，那么就可以假设这两个期望值相等，即

　　　　$E_{P}(f)=E_{\widetilde{P} }(f)$

　　确定对于确定 $x$ 和 $y$ 的条件熵为：

　　　　$H(y|x)=-\sum \limits _{y}P(y|x)log\ P(y|x)$

　　那么对于 $H(Y|X)$ 而言，就是确定条件熵取 $x$ 的期望：

　　　　$H(Y|X)=H(P)=-\sum \limits _{x,y}P(X)P(y|x)log\ P(y|x)$

3.2 最大熵模型定义

　　定义：(最大熵模型) 假设满足所有约束条件的模型集合为

　　　　$\mathcal{C} \equiv { P\in \mathrm{P}|E_{P}(f_i)=E_{\widetilde{P} }(f_i) },i=1,2,...,n$

　　定义在条件概率分布$P(Y|X)$上的条件嫡为

　　　　$H(P)=-\sum_ \limits {x,y}\widetilde{P} (x)P(y|x)log\ P(y|x)$

　　则模型集合 $\mathcal{C}$ 中条件熵 $H(P)$ 最大的模型称为最大熵模型。式中的对数为自然对数。

4 最大熵模型的学习

4.1 模型的学习

　　最大熵模型的学习过程就是求解最大熵模型的过程。最大熵模型的学习可以形式化为约束最优化问题。
　　对于给定的训练数据集 $T=\{(x_1,y_1),(x_2,y_2),…,(x_N,y_N)\}$ 以及特征函数 $f_i(x,y),i=1,2,…,n$ ,最大熵模型的学习等价于约束最优化问题:

　　　　$ \max \limits _{P \in \mathcal{C} } \quad H ( P ) = - \sum \limits _{x,y} \tilde{P} ( x ) P ( y | x ) \log P ( y | x ) $

　　　　$ s.t.\quad E_{ P } ( f_{i} ) = E_{ \tilde{P} } ( f_{i} ), i = 1,2, \cdots, n $

　　　　$\quad \quad \quad \sum \limits_{y} P ( y | x ) = 1 $

　　按照最优化问题的习惯，将求最大值问题改写为等价的求最小值问题:
　　　　$ \min \limits _{P \in \mathcal{C} } \quad -H ( P ) = \sum \limits _{x,y} \tilde{P} ( x ) P ( y | x ) \log P ( y | x ) $

　　　　$s.t.\quad E_{ P } ( f_{i} ) - E_{ \tilde{P} } ( f_{i} ) = 0, i = 1,2, \cdots, n $

　　　　$\quad \quad \quad \sum \limits_{y} P ( y | x ) = 1$

　　求解约束最优化问题，所得出的解就是最大熵模型学习的解。
　　将约束最优化的原始问题转换为无约束最优化的对偶问题。通过求解对偶问题求解原始问题。
　　首先，引进拉格朗日乘子 $w_0,w_1,w_2,…,w_n$ ，定义拉格朗日函数 $L(P, w)$ :

　　　　$L ( P, w) = - H ( P) + w_{0} ( 1 - \sum \limits  _{y} P ( y | x)) + \sum \limits _{i=1}^{n} w_{i} ( E_{P} ( f_{i}) - E_{\tilde{P}} ( f_{i})) $

　　　　     $\quad  \quad  \quad  = \sum \limits  _{x,y} \tilde{P} ( x) P ( y | x) \log P ( y | x) + w_{0} ( 1 - \sum \limits _{y} P ( y | x)) $

　　　　$\quad \quad  \quad  \quad  \quad + \sum \limits _{i=1}^{n} w_{i} ( \sum \limits _{x, y} \tilde{P} ( x) P ( y | x) f_{i} ( x, y) - \sum \limits _{x, y} \tilde{P} ( x, y) f_{i} ( x, y)) $

　　此处不理解可参考：拉格朗日乘子法可以参考本博客《机器学习——最优化问题：拉格朗日乘子法、KKT条件以及对偶问题 》

　　　　$\underset{P \in \mathcal{C} }{min} \quad \underset{w}{max} \quad L(P,w)$

　　由于拉格朗日函数 $L(P, w)$ 是 $P$ 的凸函数，原始问题的解与对偶问题的解是等价的。这样，可以通过求解对偶问题来求解原始问题。
　　首先，求解对偶问题内部的极小化问题。内部的极小化问题是w的函数,将其记作

　　　　$\varPsi(w) =  \underset{P \in \mathcal{C} }{min} \  L(P,w) = L(P_w,w)$

视频：[保姆级别（特别啰嗦）带读] 李航 《统计学习方法 第二版》 第六章 逻辑斯蒂回归与最大熵模型

文档：第六章 逻辑斯谛回归与最大熵模型