七、SVM的软间隔模型算法
输入线性可分的m个样本数据{(x1,y1),(x2,y2),...,(xm,ym)},其中x为n维的特征向量,y为二元输出,取值为+1或者-1;SVM模型输出为参数w、b以及分类决策函数。
1、选择一个惩罚系数C>0,构造约束优化问题;
2、使用SMO算法求出上式优化中对应的最优解β*;
3、找出所有的支持向量集合S; 其实每一个支持向量对应的b都是相等的,所以无需考虑所有的支持向量先求和再平均,求一个即可。
4、更新参数w、b的值;
5、构建最终的分类器
八、SVM的软间隔模型总结
1、可以解决线性数据中携带异常点的分类模型构建的问题;
2、通过引入惩罚项系数(松弛因子),可以增加模型的泛化能力,即__鲁棒性__ (使模型不会去迎合异常值);
3、如果给定的惩罚项系数越小,表示在模型构建的时候,就允许存在越多的分类错误的样本, 也就表示此时模型的准确率会比较低;如果惩罚项系数越大,表示在模型构建的时候,就越不允许存在分类错误的样本,也就表示此时模型的准确率会比较高。