SVM的原理

(原创)

本文讨论svm,支持向量机的原理

1 思想

找到最大间隔的分离超平面 wx+b,(从数学上可以证明他有存在性和唯一性)

那么怎么样度量间隔,以及怎么求解最优化问题,就是接下来的内容

2 函数间距和几何间距

函数间隔和w成比例,为了避免这个影响,引入了w规范化 | w | =1后的 几何间隔

3 约束条件下的最优化问题

(1)约束条件:假定间隔m,每个样本到超平面的几何距离至少是m

(2)优化问题:max m

4 原始数据线性不可分,映射函数

以上情况都是在原始数据线性可分下的理想情况,很多情况下原始数据都不能直接线性可分

为了能够使用线性可分的方法,需要使用到数学的转换思想。

通过一个 映射函数Φ 将线性不可分的空间,映射到线性可分的空间上去

 

5 核函数技巧

在优化计算的数学过程中,需要计算Φx1 和 Φx2 的内积

引入核函数 K(x1,x2) 定义为这两个量的内积,

那么在计算中,只需要知道核函数即可,而不必非要显式的知道映射函数Φ

此即核函数技巧。

 

上一篇:过拟合、欠拟合问题


下一篇:【人工智能导论:模型与算法】SVM | 生成式模型 | 判别式模型