本文目录

1. 前置数学知识：最大似然估计

1.1 似然函数

1.2 最大似然估计

2. 逻辑回归损失函数理解

2.1 逻辑回归前置知识

2.2 理解方式1(ML课程的讲解方式)

2.3 理解方式2

1. 前置数学知识：最大似然估计

1.1 似然函数

若总体属离散型，其分布律, 的形式已知，为待估参数，是的可能取值范围。设是来自的样本，则的联合概率分布为

设是相应于样本的一个样本值。则样本取到观察值的概率，也就是事件发生的概率为

称为样本的似然函数，它是的函数。(注意：这里是已知的样本值，都是常数)

1.2 最大似然估计

关于最大似然估计，我们可以有以下的直观想法：
现在已经去到样本值了，这表明取到这一样本值的概率比较大，而取到其他样本值概率比较小。由费希尔(R.A.Fisher)引进的最大似然估计，就是固定样本观察值，在取值的可能范围内挑选使似然函数达到最大的参数值使

这样得到的与样本值有关，常记为，称为参数的最大似然估计值，相应的统计量称为参数的最大似然估计量。
确定最大似然估计量的问题，就可以归结为求最大值的问题了。一般的求最大似然估计，都是转化为对数形式的似然函数来进行求解。
似然函数：

对数形式的似然函数(这里是自然对数，底数为e)

简单总结：
上面的数学知识说的通俗一点，就是通过样本来预测总体的分布，怎么来预测呢？
让总体分布尽量与样本的分布趋同，就是总体的分布与样本分布具有最大的相似性，然后再来求取分布中的参数。

2. 逻辑回归损失函数理解

2.1 逻辑回归前置知识

回归：输出的是连续数据，目的是找到最优的拟合。（例如：预测气温）
分类：输出的是离散数据，目的是找到决策边界。（例如：预测硬币正反）
逻辑回归是用来解决分类问题的，这里有一个前提假设，就是样本服从0-1分布，也就是伯努利分布n=1的情况。
0-1分布的分布律为：

下面介绍一下sigmoid函数如下：

 

sigmoid函数.png

2.2 理解方式1(ML课程的讲解方式)

逻辑回归中sigmoid函数为 (其中)
可以用sigmoid函数表示0-1中取1的概率。所以我们的损失函数可以定义为


当我们把损失函数与0-1分布的分布律对应起来的时候，，损失函数就是在0-1分布的基础上取对数然后再取负数。这也好理解，损失函数的要求就是预测结果与真实结果越相近，函数值越小，所以会在前面加上负号。当y=0时，1-p的概率会比较大，在前面加上负号，Cost值就会很小；当y=1时，p的概率会比较大，在前面加上负号，Cost值就会很小。至于取对数，就是跟最大似然函数有关系，取对数不影响原本函数的单调性，而且会放大概率之间的差异，更好的区分各个样本的类别。
把上面损失函数写成统一的形式：

好了，至此，我们得到了逻辑回归的损失函数。虽然大家都是这么讲的，但是，总是感觉没有太懂为什么最后得到了这个损失函数。如果想从数学的角度推导，可以继续往下看。

2.3 理解方式2

对于0-1分布的似然函数

0-1分布的分布律为

当是来自于样本的一个样本值，X的分布律为

它的似然函数为

似然函数的对数形式为

对于逻辑回归的似然函数

逻辑回归中sigmoid函数为，可以用sigmoid函数表示0-1中取1的概率，在这里用于表示逻辑回归中的概率。逻辑回归中的样本值为，样本中的是用来求概率的，是样本的真实值，也就是真实类别。在机器学习中，习惯称为特征值，为标签。
对应于0-1分布中的概率，对应于0-1分布中的，也就是样本值。这样我们就把逻辑回归和0-1分布对应起来了。我们用逻辑回归来作为分类模型，需要用最大似然估计的方法来评判模型的好坏。让总体分布尽量与样本的分布趋同，就是总体的分布与样本分布具有最大的相似性，然后再来求取模型中的参数，这样就可以得到比较符合最大似然估计的模型。这个模型其实就是。
根据0-1分布的似然函数，我们可以写出逻辑回归的似然函数

对数形式为

逻辑回归的损失函数为


损失函数跟对数形式的似然函数很像，只是在前面乘以。最大似然估计的方法要求的最大值，损失函数在其前面加上负号，就是求最小值，这个跟损失函数的特性刚好吻合。1/m是用来对m个样本值的损失函数值取平均，不会影响函数功能。
因此，逻辑回归的损失函数求最小值，就是根据最大似然估计的方法来的。