凸集与凸函数

首先是凸集的定义。一个集合$S\in \mathbb{R}^n$S∈Rn称为凸集（$\mathbb{R}^n$Rn表示$n$n维实向量空间），如果对于任意两个点$a,b\in S$a,b∈S，连接它们的线段也在集合$S$S内，如下图：

任意多个凸集的交集仍为凸集。

函数$f:\mathbb{R}^n→\mathbb{R}$f:Rn→R（由$n$n维实向量到实数的映射函数）为凸函数，当且仅当其定义域$S$S是凸集，且对于所有$x,y\in S$x,y∈S和每一个标量$a\in(0,1)$a∈(0,1)，满足Jensen不等式：
$f(ax+(1-a)y)\le af(x)+(1-a)f(x)$f(ax+(1−a)y)≤af(x)+(1−a)f(x)
$f(x)$f(x)为严格凸函数，当且仅当$x,y,a$x,y,a满足：
$f(ax+(1-a)y)< af(x)+(1-a)f(x)$f(ax+(1−a)y)<af(x)+(1−a)f(x)

凸函数识别的充要条件

一阶充要条件

$f(x)$f(x)为凸函数，当$x,y,f(x),f'(x)$x,y,f(x),f′(x)满足：
$(f'(x)-f'(y))(x-y)\ge0,\ \forall x,y\in S$(f′(x)−f′(y))(x−y)≥0, ∀x,y∈S
$f(x)$f(x)为严格凸函数，当$x,y,f(x),f'(x)$x,y,f(x),f′(x)满足：
$(f'(x)-f'(y))(x-y)>0,\ \forall x,y\in S,且x\ne y$(f′(x)−f′(y))(x−y)>0, ∀x,y∈S,且x​=y
$f(x)$f(x)为凸函数，当$x,y,f(x),f'(x)$x,y,f(x),f′(x)满足：
$f(y)\ge f(x)+f'(x)(y-x)$f(y)≥f(x)+f′(x)(y−x)

二阶充要条件

$f(x)$f(x)为严格凸函数，当且仅当其Hessian矩阵正定：
$H_xf(x)=\frac{\partial^2 f(x)}{\partial x\partial x^T}\succ0,\ \forall x\in S$Hx​f(x)=∂x∂xT∂2f(x)​≻0, ∀x∈S
凸函数的非负倍数求和、积分、仿射变换都是凸函数。
向量除了$L_0$L0​范数外的所有范数都是凸函数。
无约束凸函数的任意局部极小点$x*$x∗都是该函数的一个全局极小点。

• 点赞
• 收藏
• 分享
• • 文章举报

魏之燕 发布了19 篇原创文章 · 获赞 51 · 访问量 14万+ 私信 关注