1.逻辑斯蒂回归定义

\(P(Y=1|x)=\frac{e^{wx}}{1+e^{wx}}\)
\(P(Y=0|x)=\frac{1}{1+e^{wx}}\)

2.参数估计

\(逻辑斯蒂回归模型学习时,对于给定的训练数据及T=\{(x_1,y_1),(x_2,y_2),...,(x_N,y_N)\},其中,x_i\in R^n,y_i \in \{0,1\},可以应用极大似然估计法估计模型参数,从而得到逻辑斯蒂回归模型\)
\(设,\)
\(P(Y=1|x)=\pi(x)=\frac{e^{wx}}{1+e^{wx}}\)
\(P(Y=0|x)=1-\pi(x)=\frac{1}{1+e^{wx}}\)
\(似然函数为-这里隐含了一个条件,\color{red}{使用的损失函数是对数熵,线性回归用的是均方根误差}\)
\(\prod_{i=1}^{N}[\pi(x_i)]^{y_i}[1-\pi(x_i)]^{1-y_i}\)
\(对数似然函数为\)
\(L(w)=\sum_{i=1}^{N}[y_i\log \pi(x_i) + (1-y_i)\log (1-\pi(x_i)]\)
\(=\sum_{i=1}^{N}[y_i\log(\frac{\pi(x_i)}{1-\pi(x_i)}) +\log (1-\pi(x_i))]\)
\(=\sum_{i=1}^{N}[y_i(w\cdot x_i) -\log (1+e^{w\cdot x_i})]\)
\(对L(w)求极大值,得到w的估计值\)

3.求最优值

\(似然函数对w的求导\)
\(L(w)=\sum_{i=1}^{N}[y_i(w\cdot x_i) -\log (1+e^{w\cdot x_i})]\)
\(\frac{\partial L(w)}{\partial w}=\sum_{i=1}^{N}y_i\cdot x_i -\frac{1}{1+e^{w\cdot x_i}}e^{w\cdot x_i} \cdot x_i\)
\(=\sum_{i=1}^{N}y_i\cdot x_i -\frac{x_i\cdot e^{w\cdot x_i}}{1 + e^{w\cdot x_i}}\)