定义:
支持向量机(Support Vector Machine, SVM)是一种强大的、灵活的监督学习算法,广泛应用于分类和回归问题中。其核心思想是通过找到一个最优的超平面(在二维空间中为直线,三维空间中为平面,更高维度则称为超平面),使得该超平面能够尽可能准确地将训练数据集中的样本分开。SVM特别适用于处理高维数据,并且在处理非线性问题时,通过引入核函数(Kernel Function)技巧,能够映射到更高维的空间,从而找到更复杂的分类边界。
原理:
- 寻求最优分类边界:
-
- SVM试图找到一个超平面,该超平面不仅可以将两类数据点分开,而且能够最大化两类数据点到超平面的间隔。这个间隔被称为“margin”,它是指决策边界与最近的支持向量之间的距离。
- 支持向量:
-
- 支持向量是位于类别之间的边界上的数据点,它们对于决策边界的构建起着重要的作用。SVM构建决策边界时仅依赖于这些支持向量。
- 核函数:
-
- 当数据在原始空间中线性不可分时,SVM通过核函数将数据映射到高维空间,以找到线性可分的决策边界。常见的核函数包括线性核、多项式核、径向基函数(RBF)核等。