关于逻辑回归是否线性?sigmoid

from :https://www.zhihu.com/question/29385169/answer/44177582

逻辑回归的模型引入了sigmoid函数映射,是非线性模型,但本质上又是一个线性回归模型,因为除去sigmoid映射函数关系,其他的步骤,算法都是线性回归的。可以说,逻辑回归,都是以线性回归为理论支持的。
这里讲到的线性,是说模型关于系数关于逻辑回归是否线性?sigmoid一定是线性形式的
关于逻辑回归是否线性?sigmoid
加入sigmoid映射后,变成:
关于逻辑回归是否线性?sigmoid

如果分类平面本身就是线性的,那么逻辑回归关于特征变量x,以及关于系数关于逻辑回归是否线性?sigmoid都是线性的
如果分类平面是非线性的,例如题主提到的关于逻辑回归是否线性?sigmoid,那么逻辑斯蒂回归关于变量x是非线性的,但是关于参数关于逻辑回归是否线性?sigmoid仍然是线性的
关于逻辑回归是否线性?sigmoid
这里,我们做了一个关于变量x的变换:关于逻辑回归是否线性?sigmoid

其他非线性超平面一样的道理,我们可以通过变量的变化,最终一定可以化成形如
关于逻辑回归是否线性?sigmoid的东西,我们把z看做关于逻辑回归是否线性?sigmoid的变量,就是个线性模型。剩下的工作,无非是去构造映射关系关于逻辑回归是否线性?sigmoid

题主提到了SVM,区别是,SVM如果不用核函数,也得像逻辑回归一样,在映射后的高维空间显示的定义非线性映射函数关于逻辑回归是否线性?sigmoid,而引入了核函数之后,可以在低维空间做完点积计算后,映射到高维

综上,逻辑回归本质上是线性回归模型,关于系数是线性函数,分离平面无论是线性还是非线性的,逻辑回归其实都可以进行分类。对于非线性的,需要自己去定义一个非线性映射。

作者:辛俊波
链接:https://www.zhihu.com/question/29385169/answer/44177582
来源:知乎
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。

上一篇:Android简易实战教程--第十二话《代码获取手机总运行内存的大小》


下一篇:[BZOJ 2064]分裂