超平面

超平面是 $n$ 维空间的 $n-1$ 维子空间，类似二维空间的直线，三维空间的平面。

分类学习最基本的想法就是基于训练集D在样本空间中找到一个划分超平面，将不同类别的样本分开。以二维空间为例：

如图所示，若要把图中的红圆和蓝圆分开，有许多直线可以选择，而这些直线的定义就是： $Ax+By+C = 0$。

同理，如果是在三维空间中就是$Ax+By+Cz+D=0$。

当在更高的维数时，就是 $\omega _{1}x_{1} + \omega _{2}x_{2}+\omega _{3}x_{3}+\cdots +\omega _{d}x_{d}+b$，用向量形式表达就是：

$\mathbf{\omega }^{T}\mathbf{x}+b=0$

其中 $\mathbf{\omega }=(\omega_{1 };\omega_{1 };\cdots ;\omega_{d }) $为法向量，决定了超平面的方向，为什么它就是法向量呢？看一下下面的高数知识就懂了。

点到超平面的距离

根据点到直线和点到平面的距离可推断出空间中任意点$\mathbf{x}$到超平面的距离为：

$r=\frac{|\mathbf{\omega }^{T}\mathbf{x}+b|}{\left \| \mathbf{\omega } \right \|}$

具体的推导就是：