岭回归&Lasso回归

转自:https://blog.csdn.net/dang_boy/article/details/78504258

https://www.cnblogs.com/Belter/p/8536939.html

https://www.cnblogs.com/Belter/p/8536939.html  (这个也写的很好,只不过还没看)

1.最小二乘法则

假设我们有n个样本数据,每个数据有p个特征值,然后p个特征值是线性关系。

即对应的线性模型

岭回归&Lasso回归

写成矩阵的形式即是Y=XA,误差B矩阵:即B=Y-XA。【Y和A是列向量,X是矩阵】

误差的平方的计算公式

岭回归&Lasso回归

Xi为行向量,A为列向量。

最小二乘法的目标就是取得最小的e对应的A,由于方差的计算是一个二次函数,即抛物线,对应存在一个最小值,即导数为0对应的A。所以对e求A的偏导数,再使其等于0,求解方程即可以获得A。

误差的平方e写成矩阵形式即为

岭回归&Lasso回归

对矩阵E取迹(迹就是矩阵对角线上所有元素的累加)且对迹求导后结果为一个矩阵。

即为 岭回归&Lasso回归

展开为  岭回归&Lasso回归

求导化简结果为岭回归&Lasso回归

注:这个计算的过程是涉及到向量的求导运算,看了好长时间实在是看不懂。也不知道这个结果是怎么计算出来的,暂且记住吧。。

参考:https://blog.csdn.net/lipengcn/article/details/52815429

当A的维数比Y的维数多,即样本数量n少于特征值p的时候存在多个解,可能导致结果岭回归&Lasso回归很不稳定,所以要确保n>p。

X矩阵不存在广义逆(即奇异性)的情况:
1)X本身存在线性相关关系(即多重共线性),即非满秩矩阵。
当采样值误差造成本身线性相关的样本矩阵仍然可以求出逆阵时,此时的逆阵非常不稳定,所求的解也没有什么意义。
2)当变量比样本多,即p>n时.
这时,回归系数会变得很大,无法求解。在统计学上,可证明A的最小二乘解为无偏估计,即多次得到的采样值X而计算出来的多个系数估计值向量 的平均值将无限接近于真实值向量β。

2.岭回归

那么解决不存在矩阵广义逆:

在误差矩阵加上一个对A的L2范数控制系数矩阵,

岭回归&Lasso回归

而LASSO回归是加上的L1范数作为正则项。

反映到矩阵上,就是在原先的A的最小二乘估计中加一个小扰动λI,

岭回归&Lasso回归

岭回归&Lasso回归变为满秩矩阵,可以求稳定的逆。

具体推导过程就不贴了,贴了也看不懂。

3.LASSO回归

岭回归&Lasso回归

只是在于正则项的不同。

4.对于偏差与方差的理解

看到这个图觉得很不错:

岭回归&Lasso回归

偏差:预测出来的数据与真实值的差距

方差:预测出来的数据的分散程度

上一篇:JAVA-JSP内置对象之session对象设置并获得session生命周期


下一篇:yum安装pip命令