看到一篇简洁博文,受到启发,记录一下
二项逻辑斯蒂回归 VS 正态分布 本身没有可比性:
二项逻辑斯蒂回归 是关于连续变量x到离散变量y {0,1} 的一个映射的概率描述
正态分布是关于单变量本身值的分布范围的概率描述
以下为原博文内容
本文讲有关高斯判别分布与逻辑回归之间有趣的联系。
??假设有一个训练集合,包含一些负样本和一些正样本。现对每一类样本拟合出一个概率密度函数,则如图所示分别拟合出P(x∣∣y=0);P(x∣∣y=1)P(x|y=0);P(x|y=1)两类高斯概率密度函数,同时也会拟合出伯努利分布P(y)P(y)。则
P(x)=P(x∣∣y=0)P(y=0)+P(x∣∣y=1)P(y=1)
P(x)=P(x|y=0)P(y=0)+P(x|y=1)P(y=1)
??现沿着xx轴进行取值并画出P(y=1|x)P(y=1|x)。
当xx取水平轴上的很小值x1x1时,求出
P(y=1|x)=P(x∣∣y=1)P(y=1)P(x)
P(y=1|x)=P(x|y=1)P(y=1)P(x)
因为xx很小,如图,很明显它属于左侧高斯分布,所以属于正样本类的可能性非常小,几乎为0。稍微增加xx,取一个新的值x2x2。画出相应的P(y=1|x)P(y=1|x),它仍然很小,当取正负样本的交叉点x3x3时,P(y=1|x)P(y=1|x).算不出来,也许为0.5。 当取x4x4时,P(y=1|x)P(y=1|x)几乎为1.
??填充更多的点,大致画出一条曲线形状和逻辑回归中使用的Sigmoid函数曲线的形状很相似,但实际是不一样的。是个非常有意思的巧合吧!
————————————————
版权声明:本文为CSDN博主「liuyhoo」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/liuyhoo/article/details/81558350