简介

最小二乘法在曲线,曲面的拟合有大量的应用. 但其实一直不是特别清楚如何实现与编码.

参考链接

https://www.jianshu.com/p/af0a4f71c05a 写的比较实在 作者的 代码链接 https://github.com/privateEye-zzy/Nonlinear_function_fitting
https://wangliangster.github.io/#/AI/ML/leastsquares 偏理论
https://www.matongxue.com/madocs/818/ 偏数学

Q&A

1. 误差方程为:

\[\operatorname{Error}(\mathrm{w} \mid \mathrm{X}, \mathrm{y})=(\mathrm{X} \mathrm{w}-\mathrm{y})^{\mathrm{T}}(\mathrm{Xw}-\mathrm{y}) \]

这是什么意思??
w 应该就是系数, 或者可以叫做系数矩阵, 在已知X, 然后计算 系数矩阵 * 已知数据X - Y的最小误差 也就是 \(X w - Y\)的误差的平方, 作者求解这个误差的最小值.
得到 w系数应该

\[\mathrm{w}=\left(\mathrm{X}^{\mathrm{T}} \mathrm{X}\right)^{-1} \mathrm{X}^{\mathrm{T}} \mathrm{y} \]

但是 w 系数为什么是这个值呢?? 就是对于一个 函数, 求导=0, 就是其极值. 要么是极大值, 要么是极小值. w 是求极值算出来了. 但其实我个人觉得不太直观. 还是简书的看的直观. 定义了一个
\(f(x) = a_0 + a_1 x + a_2 x^2 + a_3 x^3 ...\)

然后就简单了\(A = X^{-1} Y\), 这一步大部分人只能调包完成.

image