从线性回归来理解正则化

本文主要以线性回归为切入点,分析了过拟合出现的原因以及正则化的理解,并从MLE和MAP两个方面重新对线性回归进行了求解,揭示了MLE,MAP与正则化之间的关系。

一、最小二乘的简要回顾

假设输入空间为:

\(x_{m \times n} = (x_{1}, x_{2},...,x_{i},...,x_{m})^T\)

那么每个输入向量的特征维度为\(n\),相应地,训练样本表示为:

\(T=((x_{1}, y_{1}),(x_{2}, y_{2}),...,(x_{m}, y_{m}))\)

我们的目的就是找到一组参数\(w_{n \times 1}=(w_{1}, w_{2},..., w_{n})\),使输入向量与\(w\)的线性组合能够尽可能地拟合输出\(y\),于是模型可以定义为:
\(xw = y\)

于是根据上篇文章定义的\(L_{2}\)损失函数,模型的经验风险Loss可以定义为:

\(Loss = \dfrac{1}{2} \sum (y_{i}-x_{i}w)^{2} = \dfrac{1}{2} (y-xw)^{2}\)

于是参数的求解就转化成最小化\(Loss\),因此\(Loss\)\(w\)求导,便可取得极小值。

\(\dfrac{\partial Loss}{\partial w} = \dfrac{\partial (y-xw)^{T}(y-xw)}{\partial w} = 2x^{T}(xw-y) = 0\)

因此,解得\(w = (x^{T}x)^{-1}x^{T}y\)

然而,当\(x^{T}x\)不可逆时,则不存在唯一的解析解,反映到机器学习中就是过拟合。从图像去噪来考虑,输入的带噪声图像可以展开成一个\(hw \times 1\)的向量,通过神经网络来拟合对应清晰图像每一个像素位置的值,那么所学到的参数矩阵可以简单地定义为\(\theta_{1 \times hw}\),以线性回归的视角得到参数\(\theta\)的解析解为:

\(\theta_{1 \times hw} = (xx^{T})^{-1}xy^{T}\)

\(xx^{T}\)不为满秩,则不存在逆。由于深度学习需要大量的外部图像样本不断学习参数\(\theta\),相当于网络在求解这\(n\)多个非线性方程组。若方程组的个数小于特征的维度,那么得到的解的假设空间也就越多,在\(Loss\)的约束下很容易学到过拟合的解。解决这一问题的根本办法就是使样本个数远大于特征维度,这样就可以约束解空间,更容易得到较好的模型。要达到这种效果有很多:

1)增加样本数(数据增广等)2)减少特征个数(dropout,PCA降维等)3)加正则化进行约束

正则化通过使模型中某些参数为0从而降低模型参数复杂度,从广义上讲也属于第二种降低过拟合的方法。通常,\(L_{1}\)范数会使得模型参数变得稀疏,\(L_{2}\)范数能够使模型参数集中分布在0附近,因此都能实现参数\(w\)的降维。

在最小二乘法中加入\(L_{2}\)正则化项对参数\(w\)进行约束后,得到结构风险的表达式:

\(Loss = \dfrac{1}{2} \sum (y_{i}-x_{i}w)^{2} + \lambda w^{T}w= \dfrac{1}{2} (y-xw)^{2} + \lambda w^{T}w\)

同理,可得:

\(\dfrac{\partial Loss}{\partial w} = 2(x^{T}x+\lambda I)-2x^{T}y = 0\)
解得:\(w = (x^{T}x+\lambda I)^{-1}x^{T}y\)

关于矩阵求导的相关知识,请移步下一篇文章。

二、从概率的角度来理解最小二乘估计

统计学习中,拟合的误差分为可减少误差(reducible error)与不可减少误差(irreducible error)。可减少误差可以通过提出更合适的模型来减少,而由于数据本身存在一定的扰动,会受到其他非客观因素的影响,导致观测样本会有一些波动,这些波动导致所提出的模型无法准确无误地进行拟合,产生的误差称为不可减少误差。

我们假设不可减少误差为\(\delta \sim N(0,\sigma^{2})\),那么估计出来的样本:

\(y = xw + \delta\),并且:\(y \sim N(xw, \sigma^{2})\)

根据高斯分布的概率,可以得到:

\(p(y|x,w) = \dfrac{1}{\sigma \sqrt{2\pi}} exp (-\dfrac{(y-xw)^{T}(y-xw)}{2\sigma^{2}})\)

目的就是求出\(p(y|x,w)\)最大时,参数\(w\)的取值,因此可以采用最大似然估计(MLE)的角度,来求上式的最大似然估计。

\(MLE = log \prod p(y_{i}|x_{i}, w)=\sum log p(y_{i}|x_{i}, w) = \sum log \dfrac{1}{\sigma \sqrt{2\pi}}-\dfrac{(y-xw)^{T}(y-xw)}{2\sigma^{2}}\)

于是:
\(w = argmax(MLE) = argmin(y-xw)^{T}(y-xw)\),与前文定义的经验风险损失一致。

若给参数\(w\)增加一个先验信息,即\(w \sim N(0, \sigma_{w}^{2})\),于是按照最大后验概率的观点:

\(w = argmax(MAP) = argmax(p(y|x,w)p(w))\),进一步可得:

\(p(y|x,w)p(w) = \dfrac{1}{\sigma \sqrt{2\pi}} exp (-\dfrac{(y-xw)^{T}(y-xw)}{2\sigma^{2}}) \times \dfrac{1}{\sigma_{w} \sqrt{2\pi}} exp (-\dfrac{w^{T}w}{2\sigma_{w}^{2}})\)

整理得:

\(w = argmax(MAP) = argmin((y-xw)^{T}(y-xw)+\dfrac{\sigma^{2}}{\sigma_{w}^{2}}w^{T}w)\)

\(\lambda = \dfrac{\sigma^{2}}{\sigma_{w}^{2}}\),公式与前文定义的结构风险损失一致

从线性回归来理解正则化

上一篇:IDEA快捷键


下一篇:Vue3中ref和toRef的区别