LR逻辑斯蒂回归原理

(原创)

本文讨论逻辑斯蒂回归

1. 逻辑斯蒂分布

是分布函数形如 1/(1+exp(-x))的分布,(注:可以加入参数平移或者拉伸)

对于中心(0,1/2)中心对称,且在中心附近增长较快

 

2. 线性参数化,的二项逻辑斯蒂回归

输出分类为二分类,0和1,在x输入下,算这两个输出概率

输出1的概率 =exp(wx+b)/(1+exp(wx+b)) ,注意和上面的分布形式上一致,参数改为了x的线性形式

输出0的概率 =1/(1+exp(wx+b))=1-输出1概率

注意,为了方便,可以将原向量w和x都扩充一维,将b放到w里,x加一维为1

 

 

3. 估计参数w

方法是经典的,使用极大似然估计,

每个样本现象的概率是 pi(x)或者1-pi(x),可以统写为 pi(x)^y(1-pi(x))^(1-y),y的取值为0或1

似然函数为上面n个样本现象的概率的乘积,

再对他求最值,可以得到w的最大似然估计值,作为最终模型

 

上一篇:马大师的分块练习


下一篇:线性回归、逻辑回归详细讲解