支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

在之前为了寻找最有分类器,我们提出了例如以下优化问题:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

在这里我们能够把约束条件改写成例如以下:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

首先我们看以下的图示:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

非常显然我们能够看出实线是最大间隔超平面,如果×号的是正例,圆圈的是负例。在虚线上的点和在实线上面的两个一共这三个点称作支持向量。如今我们结合KKT条件分析下这个图。

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

我们从式子支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)和式子支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)能够看出假设支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)那么支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

这个也就说明支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)时。w处于可行域的边界上,这时才是起作用的约束。

1、那我们如今能够构造拉格朗日函数例如以下:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

注意到这里仅仅有支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)没有支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)是由于原问题中没有等式约束,仅仅有不等式约束。

2、接下来我们对w和b分别求偏导数。

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

并得到

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

3、将上式带回到拉格朗日函数中得到:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

因为支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier),因此简化为

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

4、如今我们得到了关于w和b的能够最小化的等式。我们在联合支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)这个參数,当然他的条件还是支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)>=0,如今我们能够得到例如以下的二元优化等式了:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

5、如今你还必须知道我们之前解说的条件一是支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier),二是KKT条件:

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

非常显然存在w使得对于全部的i,支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)。因此,一定存在支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)使得支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)是原问题的解。支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)是对偶问题的解。

假设求出了支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)(也就是支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)),依据

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

就可以求出w(也是支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier),原问题的解)。然后

支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

就可以求出b。即离超平面近期的正的函数间隔要等于离超平面近期的负的函数间隔。

6、如今我们在看另外一个问题:

因为支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

所以支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

这里我们将向量内积支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)表示为支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier)

如今能够看出我要计算等式的话就仅仅须要计算向量的内积就好了。同一时候要是支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier) 在支持向量上面的话。那么支持向量机(SVM)(三)-- 最优间隔分类器(optimal margin classifier),这样就更简单了,因此非常多的值都是0。

上一篇:如何用好RAM访问控制中的角色


下一篇:运维之网络安全抓包—— WireShark 和 tcpdump