基本形式

最小二乘法估计拟合参数

最小二乘法：基于均方误差最小化来进行模型求解的方法称为“最小二乘法”（least square method）

　　　　　　即（左边代表 $\mathbf{\omega }$ 和 b 的解）

为了计算的方便，可以把常数 b 看出一个特殊的值为 1 的 x 。

将 $\mathbf{\omega }$ 和 b 吸收入向量形式，如下所示：

$X = \begin{pmatrix}
x_{11} &x_{12} &... &x_{1d} &1\\
x_{21} &x_{2} &... &x_{2d} &1\\
\vdots &\vdots &\ddots &\vdots &\vdots \\
x_{m1} &x_{m2} &... &x_{md} &1
\end{pmatrix} = \begin{pmatrix}
\mathbf{x_{1}^{T}}& 1\\
\mathbf{x_{2}^{T}}&1 \\
\vdots & \vdots \\
\mathbf{x_{m}^{T}}& 1
\end{pmatrix}$

把标记也写成向量形式$\mathbf{y}=(y_{1};y_{2};...;y_{m})$，则参数的求解为：

$ \hat{\mathbf{\omega} }^{*}=_{\hat{\mathbf{\omega} }}^{arg\ min}\  \textrm{}(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega} })^{T}(\mathbf{y}-\mathbf{X\hat{\mathbf{\omega} }})$

令$E_{\hat{\mathbf{\omega} }}=(\mathbf{y}-\mathbf{X}\hat{\mathbf{\omega} })^{T}(\mathbf{y}-\mathbf{X\hat{\mathbf{\omega} }})$，对$\hat{\mathbf{\omega} }$求导得到：

$\frac{\partial E_{\hat{\mathbf{\omega} }}}{\partial\hat{\mathbf{\omega} }} = 2\mathbf{X}^{T}(\mathbf{X\hat{\mathbf{\omega} }-\mathbf{y}})$

要得到这个求导结果，需要知道一些矩阵求导的常见性质：

$f(x)=Ax,则\frac{\partial f(x)}{\partial x^{T}}=\frac{\partial (Ax)}{\partial x^{T}}=A$

$f(x)=x^{T}Ax,则\frac{\partial f(x)}{\partial x}=\frac{\partial (x^{T}Ax)}{\partial x}=Ax+A^{T}x$

$f(x)=a^{T}x,则\frac{\partial f(x)}{\partial x}=\frac{\partial (a^{T}x)}{\partial x}=\frac{\partial x^{T}a}{\partial x}=a$

令上式为0即可得参数的最优解，由于涉及到矩阵逆计算，所有只有当$\mathbf{X}^{T}\mathbf{X})^{-1}$为满秩矩阵或正定矩阵才可以得到如下结果：

$\hat{\mathbf{\omega} }^{*}=(\mathbf{X}^{T}\mathbf{X})^{-1}\mathbf{X}^{T}\mathbf{y}$

简单例子

该例子来自《机器学习实战》。

数据如下：

这里第一列均为1，目的就是将式子中的b转化为1。

首先可以绘制图形大致观察一下：

只要明白上面的，计算参数其实很简单，代码如下：

 import numpy as np

 def load_data_set(filename):    # 数据导入

     fr = open(filename)

     num_feat = len(open(filename).readline().split('\t'))-1

     data_mat = []

     label_mat = []

     for line in fr.readlines():

         line_arr = []

         cur_line = line.strip().split('\t')

         for i in range(num_feat):

             line_arr.append(float(cur_line[i]))

         data_mat.append(line_arr)

         label_mat.append(float(cur_line[-1]))

     return data_mat, label_mat

 def stand_regress(x_arr, y_arr):  # 计算拟合参数

     x_mat = np.mat(x_arr)

     y_mat = np.mat(y_arr).T

     xtx = x_mat.T * x_mat

     if np.linalg.det(xtx) == 0:

         print("This matrix is singular, cannot do inverse")

         return

     ws = xtx.I * x_mat.T * y_mat

     return ws    # 返回最后得到的参数值

第一个函数打开用tab分隔的文本文件，提取出其中的数据。

第二个函数计算最佳拟合直线，代码中numpy的linalg.det()可以计算行列式的值。计算的公式直接套用上面所讲的最终公式即可。

最后得到的参数值为：