from :https://www.zhihu.com/question/29385169/answer/44177582
逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid映射函数关系,其他的步骤,算法都是线性回归的。可以说,逻辑回归,都是以线性回归为理论支持的。
这里讲到的线性,是说模型关于系数一定是线性形式的
加入sigmoid映射后,变成:
如果分类平面本身就是线性的,那么逻辑回归关于特征变量x,以及关于系数都是线性的
如果分类平面是非线性的,例如题主提到的,那么逻辑斯蒂回归关于变量x是非线性的,但是关于参数仍然是线性的
这里,我们做了一个关于变量x的变换:
其他非线性超平面一样的道理,我们可以通过变量的变化,最终一定可以化成形如
的东西,我们把z看做的变量,就是个线性模型。剩下的工作,无非是去构造映射关系
题主提到了SVM,区别是,SVM如果不用核函数,也得像逻辑回归一样,在映射后的高维空间显示的定义非线性映射函数,而引入了核函数之后,可以在低维空间做完点积计算后,映射到高维
综上,逻辑回归本质上是线性回归模型,关于系数是线性函数,分离平面无论是线性还是非线性的,逻辑回归其实都可以进行分类。对于非线性的,需要自己去定义一个非线性映射。
作者:辛俊波
链接:https://www.zhihu.com/question/29385169/answer/44177582
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。