1 介绍一些概念
本专题的总体目标是介绍凸优化中的主要复杂性定理和相应的算法。我们将重点放在凸优化的五个主要结果上,这些结果给出了本文的整体结构:存在具有最优预言复杂度的有效切面方法(第2章),对一阶预言复杂度和曲率之间关系的完整表征。目标函数(第3章),超出欧几里德空间的一阶方法(第4章),非黑盒方法(例如内点方法)相对于最佳黑盒方法(第5章)可以使迭代次数得到二次改进5),最后是一阶方法的噪声鲁棒性(第6章)。表1.1可用作对第2章至第5章中证明的结果以及第6章中某些结果的快速参考(最后一章与机器学习最相关,但结果也更具体一些,使其难以概括)。
2 有限维度的凸优化
割平面简单来说,就是添加约束条件。
这个地方就是切割平面仪派别的各种方法重心法、外椭球法。关注的是需要多少次、时间复杂度多少能够找到离最优解有参数e的集合。