R与数据分析旧笔记（十二）分类（支持向量机）

2021-12-10 07:43:42

支持向量机(SVM)

支持向量机(SVM)

问题的提出：最优分离平面（决策边界）

优化目标

决策边界边缘距离最远

数学模型

R与数据分析旧笔记（十二）分类（支持向量机）

问题转化为凸优化

R与数据分析旧笔记（十二）分类（支持向量机）

拉格朗日乘子法——未知数太多

R与数据分析旧笔记（十二）分类（支持向量机）

KKT变换和对偶公式

R与数据分析旧笔记（十二）分类（支持向量机）

问题的解决和神经网络化

对偶公式是二次规划问题，有现成的数值方法可以求解
大部分的拉格朗日乘子为0，不为0的对应于“支持向量”（恰好在边界上的样本点）
只要支持向量不变，修改其他样本点的值，不影响结果，当支持变量发生改变时，结果一般就会变化
求解出拉格朗日乘子后，可以推出w和b，判别函数可以写成以下神经网络的样式

支持向量机神经网络

R与数据分析旧笔记（十二）分类（支持向量机）