机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比

线性回归是回归模型

感知器、逻辑回归以及SVM是分类模型

线性回归:f(x)=wx+b

感知器:f(x)=sign(wx+b)其中sign是个符号函数,若wx+b>=0取+1,若wx+b<0取-1

它的学习策略是最小化误分类点到超平面的距离,

机器学习之感知器和线性回归、逻辑回归以及SVM的相互对比

逻辑回归:f(x)=sigmoid(wx+b)取值范围在0-1之间。

感知器和SVM的对比:

它俩都是用于分类的模型,且都以sign符号函数作为分类决策函数。但是感知器只适用于线性可分的数据,而SVM可以通过核函数处理非线性可分的数据。拿感知器和线性可分支持向量机对比,他们的目标都是希望找到一个超平面能把数据分开,同时分类决策函数使用的都是sign符号函数,不同之处在于优化目标不同,感知机是通过最小化误分类点到超平面的距离来对参数进行优化,从而确定这个超平面,而SVM是通过最大化支持向量距离超平面这个最小距离来对参数进行优化。

Logistic和SVM的区别:

SVM分为线性可分支持向量机,线性支持向量机以及非线性可分支持向量机,它还适用于对非线性可分的数据进行分类。Logistic回归一般用于处理线性可分的数据。这里进行线性可分支持向量机和Logistic回归的对比,SVM的目标是希望找到一个超平面能把数据分开,以sign符号函数作为分类决策函数,通过最大化支持向量距离超平面这个最小距离来对参数进行优化。逻辑回归假设数据服从伯努利分布,以最大化条件概率为学习策略(优化目标),以对数似然函数为损失函数,运用梯度下降法来优化参数,以sigmoid函数作为分类决策函数。

上一篇:机器学习(三)—线性回归、逻辑回归、Softmax回归 的区别


下一篇:selector 和 shape结合使用