凸函数（Convex Functions）

凸函数的定义1如下：

如下图所示：严格凸函数：函数曲线位于由点和连接而成的直线下方。

凸函数：函数曲线不超过由点和连接而成的直线。

 

定理1：如果某函数在某个区间二阶可导且二阶导数非负，那么这个函数在该区间是凸的。

 

其中 twice differentiable 指的是二阶可导。 

关于这个定理的证明如下：

 

 推论1：-ln(x) 在 (0,∞) 上是严格凸函数。

证明如下：

 

其中的 Definition 2是凹函数的定义。 

 

Jensen不等式

定理2 ：Jensen 不等式：

上边的定理推论描述的是两个点，如果我们看 n 个点的情况，就得到了Jensen 不等式。

 证明如下，使用的是归纳法：

 

                             

 因为 -ln(x) 是凸函数，所以我们把 -ln(x) 函数当作 f(x) 带进去，可得：

 EM算法里用到的就是这个不等式。

推论2：算术平均大于等于几何平均

证明如下：