本文介绍支持向量机（SVM）的理论推导。

一、SVM 的基本思想

SVM 的目标是找到一个最优超平面，将样本分为不同的类别，并最大化类别间的间隔。

1. 线性可分情况下：

在特征空间中找到一个超平面，使得：

• 样本之间的分类间隔（margin）最大。
• 分类误差最小。

超平面可以表示为：
$$w^{T}x+b=0$$
其中：

• w 是法向量，决定了超平面的方向。
• b 是偏置，决定了超平面到原点的距离。

对于任意样本$(x_i,y_i)$，其中 $y_i$ ∈{−1,1} 表示类别标签，超平面需要满足：
$$y_i(w^T{x}_i+b)\ge 1$$

1. 优化目标：

最大化间隔（margin）等价于最小化 $\frac{1}{2}\Vert \vec{w}{\Vert }^2$:
$$\underset{w,b}{\min }\frac{1}{2}\Vert \vec{w}{\Vert }^2$$
约束条件：
$$y_i(w^T{x}_i+b)>1,i=1,2,\dots ,n$$

二、线性不可分情况

在实际问题中，数据通常线性不可分，此时需要引入：

1. 松弛变量 ${\xi }_i$：

• 允许部分样本点违反约束条件。
• 目标函数变为：
  $$\underset{w,b,\xi }{\min }\frac{1}{2}\Vert \vec{w}{\Vert }^2+C\sum _{i=1}^n{\xi }_i$$
  其中 C 是惩罚参数，控制误差与间隔的权衡。

2. 核函数：

• 将低维数据映射到高维特征空间，使其线性可分。
• 核函数定义为：
  $$K(x_i,x_j)=\varphi (x_i)\cdot \varphi (x_j)$$
  常用核函数包括：
• 线性核：$K(x_i,x_j)=x_i\cdot x_j$
• 多项式核：$K(x_i,x_j)=(x_i\cdot x_j+c{)}^d$
• 高斯核（RBF 核）：$K(x_i,x_j)=exp(-\Vert x_i-x_j{\Vert }^2/(2{\sigma }^2))$
• Sigmoid 核：$K(x_i,x_j)=tanh(\alpha x_i\cdot x_j+c)$

三、SVM 的优化过程

SVM 的优化问题通常通过 拉格朗日对偶问题 解决：

1. 原始问题：

$$\begin{array}{rl}\underset{w,b,\xi }{\min }& \frac{1}{2}\Vert \vec{w}{\Vert }^2+C\sum _{i=1}^n{\xi }_i\\ s.t& y_i(w^T{x}_i\end{array}$$