最小二乘法,了解一下?

摘要:最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

本文分享自华为云社区《最小二乘法介绍》,作者:Yan 。

最小二乘法是一种在误差估计、不确定度、系统辨识及预测、预报等数据处理诸多学科领域得到广泛应用的数学工具。最小二乘很简单,也在业界得到了广泛使用。

但是对于最小二乘法和它的故事,也许很多人并不了解,今天给大家做一下分享。

1801年,意大利天文学家朱赛普·皮亚齐发现了第一颗小行星谷神星。经过40天的跟踪观测后,由于谷神星运行至太阳背后,使得皮亚齐失去了谷神星的位置。随后全世界的科学家利用皮亚齐的观测数据开始寻找谷神星,但是根据大多数人计算的结果来寻找谷神星都没有结果。

时年24岁的高斯也计算了谷神星的轨道。奥地利天文学家海因里希·奥伯斯根据高斯计算出来的轨道重新发现了谷神星。

高斯使用的最小二乘法的方法发表于1809年他的著作《天体运动论》中,而法国科学家勒让德于1806年独立发现“最小二乘法”,但因不为世人所知而默默无闻。

为了方便大家理解最小二乘法,给大家讲个故事。

假设身高是变量X,体重是变量Y,我们都知道身高与体重有比较直接的关系。生活经验告诉我们:一般身高比较高的人,体重也会比较大。但是这只是我们直观的感受,只是很粗略的定性的分析。

在数学世界里,我们大部分时候需要进行严格的定量计算:能不能根据一个人的身高,通过一个式子就能计算出他或者她的标准体重?

我们可以采样一批人的身高体重数据, (x1​,y1​),(x2​,y2​),⋯,(xn​,yn​),其中x是身高,y是体重。

生活常识告诉我们:身高与体重是一个近似的线性关系,用最简单的数学语言来描述就是y = \beta_0+\beta_1xy=β0​+β1​x

于是,接下来的任务就变成:怎么求出这个β0​与β1​呢?

为了计算β0​,β1​​的值,我们采取如下规则:β0​,β1​应该使计算出来的函数曲线与观察值的差的平方和最小。用数学公式描述就是:

最小二乘法,了解一下?

其中,y_{ie}yie​表示根据y=\beta_0 + \beta_1xy=β0​+β1​x估算出来的值,y_iyi​是观察得到的真实值。

这样,样本的回归模型很容易得出:

最小二乘法,了解一下?

现在需要确定β0​、β1​,使cost function最小。大家很容易想到,对该函数求导即可找到最小值:

最小二乘法,了解一下?

将这两个方程整理后使用克莱姆法则,很容易求解得出:

最小二乘法,了解一下?

根据这个公式,只需要将样本都带入就可以求解出相应的参数。

如果我们推广到更一般的情况,假如有更多的模型变量x1,x2,⋯,xm(注意:x_1x1​是指 一个样本,x1是指样本里的一个模型相关的变量),可以用线性函数表示如下:

y(x1,⋯,xm;β0​,⋯,βm​)=β0​+β1​x1+⋯+βmxm

对于n个样本来说,可以用如下线性方程组表示:

最小二乘法,了解一下?

如果将样本矩阵x_i^hxih​记为矩阵A,将参数矩阵记为向量\betaβ,真实值记为向量Y,上述线性方程组可以表示为:

最小二乘法,了解一下?

即A \beta = Y=Y

对于最小二乘来说,最终的矩阵表达形式可以表示为:

min∣∣Y∣∣2​

最后的最优解为:

β=(ATA)−1ATY

2021华为云 AI 实战营——华为云员工都在学的AI实战营,快来报名免费学习吧~

 

点击关注,第一时间了解华为云新鲜技术~

上一篇:苹果系统中的的 Public 与 Developer Beta有什么区别?


下一篇:【读书笔记】计算机图形学基础(虎书)第2章 - 数学工具