逻辑回归
假设训练集如下，有2个类别\(C_1\)和\(C_2\)，表格中的每列为一个样本。
例如，第一列表示样本\(x^1\)的类别为\(C_1\)，所以它的标签\(\hat y^1\)是1。
| \(x^1\) | \(x^2\) | \(x^2\) | \(\dots\) | \(x^N\) |
|---|---|---|---|---|
| \(C_1\) | \(C_1\) | \(C_2\) | \(\dots\) | \(C_1\) |
| \(\hat y^1=1\) | \(\hat y^2=1\) | \(\hat y^3=0\) | \(\dots\) | \(\hat y^N=1\) |
模型定义
在分类（Classification）一节中，我们要找到一个模型\(P_{w,b}(C_1|x)\)，如果\(P_{w,b}(C_1|x)\geq0.5\)，则\(x\)属于类别\(C_1\)，否则属于类别\(C_2\)。
可知\(P_{w,b}(C_1|x)=\sigma(z)\)，其中\(\sigma(z)=\frac{1}{1+e^{-z}}\)（Sigmoid Function），\(z=w\cdot x+b=\sum_{i=1}^Nw_ix_i+b\)。
最终我们找到了模型\(f_{w,b}(x)=\sigma(\sum_{i=1}^Nw_ix_i+b)\)，这其实就是逻辑回归（Logistic Regression）。
损失函数
从模型\(f_{w,b}(x)=P_{w,b}(C_1|x)\)中取样得到训练集的概率为：\(L(w,b)=f_{w,b}(x^1)f_{w,b}(x^2)(1-f_{w,b}(x^3))\dots f_{w,b}(x^N)\)（似然函数）。
我们要求\(w^*,b^*=arg\ max_{w,b}L(w,b)\)，等同于\(w^*,b^*=arg\ min_{w,b}-lnL(w,b)\)（对数似然方程，Log-likelihood Equation）。
而\(-lnL(w,b)=-lnf_{w,b}(x^1)-lnf_{w,b}(x^2)-ln(1-f_{w,b}(x^3))\dots\)，其中\(lnf_{w,b}(x^n)=\hat y^nlnf_{w,b}(x^n)+(1-\hat y^n)ln(1-f(x^n))\)，所以\(-lnL(w,b)=\sum_{n=1}^N-[\hat y^nlnf_{w,b}(x^n)+(1-\hat y^n)ln(1-f_{w,b}(x^n))]\)，式中\(n\)用来选择某个样本。
假设有两个伯努利分布\(p\)和\(q\)，在\(p\)中有\(p(x=1)=\hat y^n,p(x=0)=1-\hat y^n\)，在\(q\)中有\(q(x=1)=f(x^n),q(x=0)=1-f(x^n)\)，则\(p\)和\(q\)的交叉熵（Cross Entropy，代表两个分布有多接近，两个分布一模一样时交叉熵为0）为\(H(p,q)=-\sum_xp(x)ln(q(x))\)。
所以损失函数\(L(f)=\sum_{n=1}^NC(f(x^n),\hat y^n)\)，其中\(C(f(x^n),\hat y^n)=-[\hat y^nlnf_{w,b}(x^n)+(1-\hat y^n)ln(1-f_{w,b}(x^n))]\)，即损失函数为所有样本的\(f(x^n)\)与\(\hat y^n\)的交叉熵之和，式中\(n\)用来选择某个样本。
梯度
\(\frac{-lnL(w,b)}{\partial w_i}=\sum_{n=1}^{N}-(\hat y^n-f_{w,b}(x^n))x_i^n\)（推导过程省略，具体见李宏毅机器学习视频14分56秒），其中\(i\)用来选择数据的某个维度，\(n\)用来选择某个样本，\(N\)为数据集中样本个数。
该式表明，预测值与label相差越大时，参数更新的步幅越大，这符合常理。
逻辑回归VS线性回归
模型
逻辑回归模型比线性回归模型多了一个sigmoid函数；
逻辑回归输出是[0,1]，而线性回归的输出是任意值。
损失函数
逻辑回归模型使用的训练集中label的值必须是0或1，而线性回归模型训练集中label的值是真实值。
图中线性回归损失函数中的\(\frac{1}{2}\)是为了方便求导
这里有一个问题，为什么逻辑回归模型中不使用Square Error呢？这个问题的答案见下文
梯度
逻辑回归模型和线性回归模型的梯度公式一样
为什么逻辑回归模型中不使用Square Error
由上图可知，当label的值为1时，不管预测值是0还是1，梯度都为0，当label值为0时也是这样。
如下图所示，如果在逻辑回归中使用Square Error，当梯度接近0时，我们无法判断目前与最优解的距离，也就无法调节学习率；并且在大多数时候梯度都是接近0的，收敛速度会很慢。
判别模型VS生成模型
形式对比
逻辑回归是一个判别模型（Discriminative Model），用正态分布描述后验概率（Posterior Probability）则是生成模型（Generative Model）。
如果生成模型*用协方差矩阵，那两个模型/函数集其实是一样的，都是\(P(C_1|x)=\sigma(w\cdot x+b)\)。
因为做了不同的假设，即使是使用同一个数据集、同一个模型，找到的函数是不一样的。
优劣对比
- 如果现在数据很少，当假设了概率分布之后，就可以需要更少的数据用于训练，受数据影响较小；而判别模型就只根据数据来学习，易受数据影响，需要更多数据。
- 当假设了概率分布之后，生成模型受数据影响较小，对噪声的鲁棒性更强。
- 对于生成模型来讲，先验的和基于类别的概率（Priors and class-dependent probabilities），即\(P(C_1)\)和\(P(C_2)\)，可以从不同的来源估计得到。以语音识别为例，如果使用生成模型，可能并不需要声音的数据，网上的文本也可以用来估计某段文本出现的概率。
多分类（Multi-class Classification）
以3个类别\(C_1\)、\(C_2\)和\(C_3\)为例，分别对应参数\(w^1,b_1\)、\(w^2,b_2\)和\(w^3,b_3\)，即\(z_1=w^1\cdot x+b_1\)、\(z_2=w^2\cdot x+b_2\)和\(z_3=w^3\cdot x+b_3\)。
Softmax
使用Softmax（\(y_i=\frac{e^{z_i}}{\sum_{j=1}^3e^{z_j}}\)），使得\(0<y_i<1\)以及\(\sum_{i=1}^3y_i=1\)，其中\(y_i=P(C_i|x)\)，即一个样本\(x\)属于类别\(C_i\)的概率不超过1，属于所有类别的概率之和为1。Softmax公式中的z是一个参数吗？怎么确定或求得？
Softmax公式中为什么要用\(e\)？这是有原因/可解释的，可以看下PRML，也可以搜下最大熵。
最大熵（Maximum Entropy）其实也是一种分类器，和逻辑回归一样，只是从信息论的角度来看待。
损失函数
计算预测值\(y\)和\(\hat y\)的交叉熵，\(y\)和\(\hat y\)都是一个向量，即\(-\sum_{i=1}^3\hat y^ilny^i\)。
这时需要使用one-hot编码：如果\(x\in C_1\)，则\(y=\begin{bmatrix}1\\0\\0\end{bmatrix}\)；如果\(x\in C_2\)，则\(y=\begin{bmatrix}0\\1\\0\end{bmatrix}\)；如果\(x\in C_3\)，则\(y=\begin{bmatrix}0\\0\\1\end{bmatrix}\)。
梯度
和逻辑回归的思路一样。
逻辑回归的局限
如下图所示，假如有2个类别，数据集中有4个样本，每个样本有2维特征，将这4个样本画在图上。
如下图所示，假如用逻辑回归做分类，即\(y=\sigma(z)=\sigma(w_1x_1+w_2x_2+b)\)，我们找不到一个可以把“蓝色”样本和“红色”样本间隔开的函数。
假如一定要用逻辑回归，那我们可以怎么办呢？我们可以尝试特征变换（Feature Transformation）。
特征变换（Feature Transformation）
在上面的例子中，我们并不能找到一个能将蓝色样本和红色样本间隔开的函数。
如下图所示，我们可以把原始的数据/特征转换到另外一个空间，在这个新的特征空间中，找到一个函数将“蓝色”样本和“红色”样本间隔开。
比如把原始的两维特征变换为与\(\begin{bmatrix}0\\0\end{bmatrix}\)和\(\begin{bmatrix}1\\1\end{bmatrix}\)的距离，在这个新的特征空间中，“蓝色”样本和“红色”样本是可分的。
但有一个问题是，我们并不一定知道怎么进行特征变换。或者说我们想让机器自己学会特征变换，这可以通过级联逻辑回归模型实现，即把多个逻辑回归模型连接起来，如下图所示。
下图中有3个逻辑回归模型，根据颜色称它们为小蓝、小绿和小红。小蓝和小绿的作用是分别将原始的2维特征变换为新的特征\(x_1'\)和\(x_2'\)，小红的作用是在新的特征空间\(\begin{bmatrix}x_1'\\x_2'\end{bmatrix}\)上将样本分类。
如下图所示，举一个例子。小蓝的功能是（下图左上角），离\((1,0)\)越远、离\((0,1)\)越近，则\(x_1'\)越大；小蓝的功能是（下图左下角），离\((1,0)\)越远、离\((0,1)\)越近，则\(x_2'\)越小。小蓝和小绿将特征映射到新的特征空间\(\begin{bmatrix}x_1'\\x_2'\end{bmatrix}\)中，结果见下图右下角，然后小红就能找到一个函数将“蓝色”样本和“红色”样本间隔开。
神经网络（Neural Network）
假如把上例中的一个逻辑回归叫做神经元（Neuron），那我们就形成了一个神经网络。
Github（github.com）：@chouxianyu
Github Pages（github.io）：@臭咸鱼
知乎（zhihu.com）：@臭咸鱼
博客园（cnblogs.com）：@臭咸鱼
B站（bilibili.com）：@绝版臭咸鱼
微信公众号：@臭咸鱼的快乐生活
转载请注明出处，欢迎讨论和交流!