凸函数最优性条件

本文中,我们主要讨论一下凸函数什么时候可以取到最小值(通常这么讨论哈,可以是最大值)。

老规矩,首先给出结论分为两种情况:

凸函数取最小值,的条件为:凸函数最优性条件

这个条件的意思是什么呢?

意思是 要么0 在次梯度集合中, 要么 负梯度方向在不可行方向集合中。

具体的,第一个条件,我们先简单证明一下。

如果函数 存在次梯度,更具凸函数定义2

凸函数最优性条件

如果

凸函数最优性条件,即次梯度能取0

凸函数最优性条件 恒成立,则此时函数值最小

凸函数最优性条件

 上述情况对于x1 点是比较容易理解的,因为x1 这里所有方向都是可行方向。

但是对于x2这一点而言,其实想要x2是最优点,那么我们只需要得到 负梯度方向在 蓝色弧形区域就可以了。 其中红色弧形区域是x2这一点的 可行方向, 称为切锥。 蓝色弧形则是 法锥, 用凸函数最优性条件表示。 因此在x2 这一点,我们需要的最优性条件为

凸函数最优性条件

其中 负梯度方向是函数下降方向。这个条件的意义为 没有下降方向了,那么意思就是函数不能减小了。因此x2 是最优点

上一篇:动手学习深度学习-预备知识和循环神经网络学习笔记(dive into deep learning)


下一篇:Deep Residual Learning for Image Recognition(ResNet) 阅读笔记