【机器学习基石笔记】九、LinearRegression

【一】

线性回归直觉上的解释

得到Ein = mean(y - wx)^2

【二】

w的推导

Ein = 1/N || xw - y||^2

连续、可微、凸函数

在各个方向的偏微分都是0

Ein = 1/N (wTxTxw - 2wTxTy + yTy)

Ein := 1/N (wTaw - 2wTb + c)

向量求导,aw - b = 0

xTxw = xTy

w = (xTx)^-1(xTy)

xTx的维度为dxd, x是nxd, y是nx1

可定义为 w = x^{+} y

那么有yHat = xx^{+} y

hat matrix: xx^{+}, H

【三】

没有学习过程,close-form solution, No!

计算逆矩阵的过程就是在学习。只要Eout是好的,学习这件事情就已经发生了。

从另一个角度看Eout会很好:(第一角度:vc dimension)

之前vc的观点:某些点,现在的观点:平均

几何解释:

样本数量的维度,y是n维向量,x是d个n维向量,展开。

H算子的作用, 作用在y上,得到在x展开空间中的向量

(I - H)算子的作用,得到与x垂直的向量

trace(I-H) = n-d+1

可以认为Ein就是y-yHat,就是noise在垂直方向的投影,就等于(I-H)noise

Ein = 1/N ||y - yHat|| = 1 - (d+1)/n * noiseLevel

同理,Eout = 1/N ||y-yHat||  = 1 + (d-1)/n * noiseLevel

Ein 和 Eout的差距,2(d+1)/n

【四】

linear classification和linear regression的差别

EReg > ECls

EClsOut < EClsIn + c < ERegIn + c

因此一个lr解也是一个比较好的lc的解

上一篇:java 凯撒大帝密码


下一篇:最棒的Visual Studio扩展