*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

一、Logistic Regression Problem

一个心脏病预测的问题:根据患者的年龄、血压、体重等信息,来预测患者是否会有心脏病。很明显这是一个二分类问题,其输出y只有{-1,1}两种情况。

二元分类,一般情况下,理想的目标函数f(x)>0.5,则判断为正类1;若f(x)<0.5,则判断为负类-1。

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

但是,如果我们想知道的不是患者有没有心脏病,而是到底患者有多大的几率是心脏病。这表示,我们更关心的是目标函数的值(分布在0,1之间),表示是正类的概率(正类表示是心脏病)。这跟我们原来讨论的二分类问题不太一样,我们把这个问题称为软性二分类问题(’soft’ binary classification)。这个值越接近1,表示正类的可能性越大;越接近0,表示负类的可能性越大。

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

如果目标函数是f(x)=P(+1|x)∈[0,1]的话,我们如何找到一个好的Hypothesis跟这个目标函数很接近呢?

首先,根据我们之前的做法,对所有的特征值进行加权处理。计算的结果s,我们称之为’risk score’:*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression


二、Logistic Regression Error


现在我们将Logistic Regression与之前讲的Linear Classification、Linear Regression做个比较:

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

这三个线性模型都会用到线性scoring function *大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression。linear classification的误差使用的是0/1 err;linear regression的误差使用的是squared err。那么logistic regression的误差该如何定义呢?

先介绍一下“似然性”的概念。目标函数f(x)=P(+1|x),如果我们找到了hypothesis很接近target function。也就是说,在所有的Hypothesis集合中找到一个hypothesis与target function最接近,能产生同样的数据集D,包含y输出label,则称这个hypothesis是最大似然likelihood。

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

因为P(xn)对所有的h来说,都是一样的,所以我们可以忽略它。那么我们可以得到logistic h正比于所有的h(ynx)乘积。我们的目标就是让乘积值最大化。


*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

三、Gradient of Logistic Regression Error


我们已经推导了Ein的表达式,那接下来的问题就是如何找到合适的向量w,让Ein最小。

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

Logistic Regression的Ein是连续、可微、二次可微的凸曲线(开口向上),根据之前Linear Regression的思路,我们只要计算Ein的梯度为零时的w,即为最优解。*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

四、Gradient Descent


根据上一小节PLA的思想,迭代优化让每次w都有更新:

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

我们把Ein(w)曲线看做是一个山谷的话,要Ein(w)最小,即可比作下山的过程。整个下山过程由两个因素影响:一个是下山的单位方向v另外一个是下山的步长η

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

迭代的目的是让Ein越来越小,即让Ein(wt+ηv)

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

v是单位向量,v每次都是沿着梯度的反方向走,这种方法称为梯度下降(gradient descent)算法。那么每次迭代公式就可以写成: 

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

下面讨论一下η的大小对迭代优化的影响:η如果太小的话,那么下降的速度就会很慢;η如果太大的话,那么之前利用Taylor展开的方法就不准了,造成下降很不稳定,甚至会上升。因此,η应该选择合适的值,一种方法是在梯度较小的时候,选择小的η,梯度较大的时候,选择大的η,即η正比于||∇Ein(wt)||。这样保证了能够快速、稳定地得到最小值Ein(w)。

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression\*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression

五、总结


我们今天介绍了Logistic Regression。首先,从逻辑回归的问题出发,将P(+1|x)作为目标函数,将*大学林轩田机器学习基石课程学习笔记10 -- Logistic Regression作为hypothesis。接着,我们定义了logistic regression的err function,称之为cross-entropy error交叉熵误差。然后,我们计算logistic regression error的梯度,最后,通过梯度下降算法,计算∇Ein(wt)≈0时对应的wt值。


上一篇:使用opencv后 runtime error! R6025-pure virtual function call 的解决方法


下一篇:ZooKeeper做独立服务器运行(下)