l拉格朗日乘子法：https://www.matongxue.com/madocs/939.html

 

 

KKT条件：https://www.zhihu.com/question/23311674

 

SVM，二分类模型 。思路就是找到一个超平面把数据集进行正确的分类。对于现有维度不可分的数据，利用核函数映射高纬度空间使得线性可分。

SVM分为：

• 线性可分支持向量机。当训练数据线性可分时，通过硬间隔最大化，学习到的一个线性分类器。
• 线性支持向量机。当训练数据近似线性可分时，通过软间隔最大化，学习到的一个线性分类器。
• 非线性支持向量机。当训练数据线性不可分，通过使用核技巧及软间隔最大化，学习非线性支持向量机。

线性可分支持向量机对应着将两类数据正确划分并且间隔最大的直线。

SVM推导：硬间隔

 

软间隔：

核函数：多项式核函数、高斯核函数、sigmoid核函数，网格搜索交叉验证确认最佳核函数。