（原创）

本文讨论逻辑斯蒂回归

1. 逻辑斯蒂分布

是分布函数形如 1/（1+exp(-x）)的分布，（注：可以加入参数平移或者拉伸）

对于中心（0,1/2）中心对称，且在中心附近增长较快

 

2. 线性参数化，的二项逻辑斯蒂回归

输出分类为二分类，0和1，在x输入下，算这两个输出概率

输出1的概率 =exp(wx+b)/(1+exp(wx+b)) ，注意和上面的分布形式上一致，参数改为了x的线性形式

输出0的概率 =1/（1+exp(wx+b）)=1-输出1概率

注意，为了方便，可以将原向量w和x都扩充一维，将b放到w里，x加一维为1

 

 

3. 估计参数w

方法是经典的，使用极大似然估计，

每个样本现象的概率是 pi(x)或者1-pi(x)，可以统写为 pi(x)^y(1-pi(x))^(1-y)，y的取值为0或1

似然函数为上面n个样本现象的概率的乘积，

再对他求最值，可以得到w的最大似然估计值，作为最终模型