拉格朗日乘数法 Lagrange Multiplier Method

用于求有条件约束时的极值问题，将含有n个变量和k个约束条件的约束优化问题转化为含有n+k给变量的无约束优化问题

拉格朗日函数

$\lambda$为拉格朗日乘子

$F(x,\lambda)=f(x)+\sum\lambda_i g_i(x_i)$

其中所有的$\lambda_i \ge 0$，且$\lambda_i = 0$时对应的约束条件$g_i(x)$是松弛的

如果$f(x)$最小值在所有约束条件的可行域内，则所有约束条件都是松弛的

凸优化问题的拉格朗日函数形式

因为对于$\lambda, \nu$求最大值都会被最后的对于x求最小值而忽略

所以最后就是求$f(x_0)$的最小值和$g_i(x)=0$的问题

要注意的一点：虽然最后一项$\sum \nu_i h_i(x)$恒等于0，但梯度不一定为0，所以不能省略