目录

• Chapter 3：回归参数的估计(1)
  • 3.1 最小二乘估计
  • 3.2 最小二乘估计的性质

Chapter 3：回归参数的估计(1)

3.1 最小二乘估计

用 \(y\) 表示因变量，\(x_1,x_2,\cdots,x_p\) 表示对 \(y\) 有影响的 \(p\) 个自变量。

• 总体回归模型：假设 \(y\) 和 \(x_1,x_2,\cdots,x_p\) 之间满足如下线性关系式

  \[y=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p+e \ , \]

  其中 \(e\) 是随机误差，将 \(\beta_0\) 称为回归常数，将 \(\beta_1,\beta_1,\cdots,\beta_p\) 称为回归系数。

• 总体回归函数：定量地刻画因变量的条件均值与自变量之间的相依关系，即

  \[{\rm E}(y|x)=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p \ , \]

  回归分析的首要目标就是估计回归函数。

假定已有因变量 \(y\) 和自变量 \(x_1,x_2,\cdots,x_p\) 的 \(n\) 组观测样本 \(\left(x_{i1},x_{i2},\cdots,x_{ip}\right),\,i=1,2,\cdots,n\) 。

• 样本回归模型：样本观测值满足如下线性方程组

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\cdots+\beta_px_{ip}+e_i \ , \quad i=1,2,\cdots,n \ . \]

• Gauss-Markov 假设：随机误差项 \(e_i,\,i=1,2,\cdots,n\) 满足如下假设：
  1. 零均值：\({\rm E}(e_i)=0\) ；
  2. 同方差：\({\rm Var}(e_i)=\sigma^2\) ；
  3. 不相关：\({\rm Cov}(e_i,e_j)=0 \ , \ \ i\neq j\) 。

如果将样本回归模型中的线性方程组，用矩阵形式表示为

\[Y\xlongequal{def}\left(\begin{array}{c} y_1 \\ y_2 \\ \vdots \\ y_n \end{array}\right)=\left(\begin{array}{c} 1 & x_{11} & \cdots & x_{1p} \\ 1 & x_{21} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \ \\ 1 & x_{n1} & \cdots & x_{np} \\ \end{array}\right)\left(\begin{array}{c} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{array}\right)+\left(\begin{array}{c} e_1 \\ e_2 \\ \vdots \\ e_n \end{array}\right)\xlongequal{def}X\beta+e \ , \]

其中 \(X\) 称为设计矩阵。若将 Gauss-Markov 假设也用矩阵形式表示为

\[{\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ , \]

将矩阵方程和 Gauss-Markov 假设合写在一起，即可得到最基本的线性回归模型：

\[Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . \]

最小二乘估计：寻找一个 \(\beta\) 的估计，使得误差向量 \(e=Y-X\beta\) 的长度的平方达到最小。设

\[\begin{aligned} Q(\beta)&=\|Y-X\beta\|^2 \\ \\ &=(Y-X\beta)'(Y-X\beta) \\ \\ &=Y'Y-2Y'X\beta+\beta'X'X\beta \ , \end{aligned} \]

对 \(\beta\) 求导，令其等于零，可得正规方程组

\[X'X\beta=X'Y \ . \]

正规方程组有唯一解的充要条件是 \({\rm rank}\left(X'X\right)=p+1\) ，这等价于 \({\rm rank}(X)=p+1\) ，即 \(X\) 是列满秩的。正规方程组的唯一解为

\[\hat\beta=\left(X'X\right)^{-1}X'Y \ . \]

以上的讨论说明 \(\hat\beta\) 是 \(Q(\beta)\) 的一个驻点，下面证明 \(\hat\beta\) 是 \(Q(\beta)\) 的最小值点。

对任意的 \(\beta\in\mathbb{R}^{p+1}\) ，有

\[\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta+X\left(\hat\beta-\beta\right)\right\|^2 \\ \\ &=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2+2\left(\hat\beta-\beta\right)'X'\left(Y-X\hat\beta\right) \ . \end{aligned} \]

因为 \(\hat\beta\) 满足正规方程组 \(X'X\hat\beta=X'Y\) ，所以 \(X'\left(Y-X\hat\beta\right)=0\) ，所以对任意的 \(\beta\in\mathbb{R}^{p+1}\) ，有

\[\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2 \ . \end{aligned} \]

所以有

\[Q(\beta)=\|Y-X\beta\|^2\geq \left\|Y-X\hat\beta\right\|^2=Q\left(\hat\beta\right) \ . \]

当且仅当 \(\beta=\hat\beta\) 时等号成立。

我们将 \(\hat{Y}=X\hat\beta\) 称为 \(Y\) 的拟合值向量或投影向量，注意到

\[\hat{Y}=X\hat\beta=X\left(X'X\right)^{-1}X'Y\xlongequal{def}HY \ , \]

我们将 \(H=X\left(X'X\right)^{-1}X'\) 称为帽子矩阵，它是自变量空间的投影矩阵，这里的自变量空间指的是矩阵 \(X\) 的列空间。此外，我们将 \(\hat{e}=Y-\hat{Y}=(I-H)Y\) 称为残差向量。

中心化模型：将原始数据进行中心化，令

\[\bar{x}_j=\frac1n\sum_{i=1}^nx_{ij} \ , \quad j=1,2,\cdots,p \ . \]

将样本回归模型改写为

\[y_i=\alpha+\beta_1\left(x_{i1}-\bar{x}_1\right)+\beta_2\left(x_{i2}-\bar{x}_2\right)+\cdots+\beta_p\left(x_{ip}-\bar{x}_p\right)+e_i \ , \quad i=1,2,\cdots,n \]

其中 \(\alpha=\beta_0+\beta_1\bar{x}_1+\beta_2\bar{x}_2+\cdots+\beta_p\bar{x}_p\) 。定义设计矩阵为

\[X_c=\begin{pmatrix} x_{11}-\bar{x}_1 & x_{12}-\bar{x}_2 & \cdots &x_{1p}-\bar{x}_p \\ x_{21}-\bar{x}_1 & x_{22}-\bar{x}_2 & \cdots &x_{2p}-\bar{x}_p \\ \vdots &\vdots & \ddots & \vdots \\ x_{n1}-\bar{x}_1 & x_{n2}-\bar{x}_2 & \cdots &x_{np}-\bar{x}_p \\ \end{pmatrix} \ , \]

将中心化模型写成矩阵形式：

\[Y=\boldsymbol 1_n\alpha+X\beta+e=\begin{pmatrix} \boldsymbol 1_n & X_c \end{pmatrix}\begin{pmatrix} \alpha \\ \beta \end{pmatrix}+e \ . \]

其中 \(\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'\) 。注意到

\[\boldsymbol 1_n'X_c=0 \ , \]

因此正规方程组可以写为

\[\begin{pmatrix} n & 0 \\ 0 & X_c'X_c \end{pmatrix} \begin{pmatrix} \alpha \\ \beta \end{pmatrix} =\begin{pmatrix} \boldsymbol 1_n'Y \\ X_c'Y \end{pmatrix} \quad \iff \quad \left\{\begin{array}{l} n\alpha=\boldsymbol 1_n'Y \ , \\ X_c'X_c\beta=X_c'Y \ , \end{array}\right. \]

解得回归参数的最小二乘估计为

\[\left\{\begin{array}{l} \hat\alpha=\bar{y} \ , \\ \hat\beta=\left(X_c'X_c\right)^{-1}X_c'Y \ . \end{array}\right. \]

标准化模型：将原始数据进行标准化，令

\[\begin{aligned} &s_j^2=\sum_{i=1}^n\left(x_{ij}-\bar{x}_j\right)^2 \ , \quad j=1,2,\cdots,p \ , \\ \\ &z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_{j}} \ , \quad i=1,2,\cdots,n \quad j=1,2,\cdots,p \ , \end{aligned} \]

将样本回归模型改写为

\[y_i=\gamma+\frac{x_{i1}-\bar{x}_1}{s_1}\beta_1+\frac{x_{i2}-\bar{x}_2}{s_2}\beta_1+\cdots\frac{x_{ip}-\bar{x}_p}{s_p}\beta_1+e_i \ , \quad i=1,2,\cdots,n \ , \]

令 \(Z=(z_{ij})_{n\times p}\) ，将标准化模型写成矩阵形式：

\[Y=\boldsymbol 1_n\gamma+Z\beta+e=\begin{pmatrix} \boldsymbol 1_n & Z \end{pmatrix}\begin{pmatrix} \gamma \\ \beta \end{pmatrix}+e \ . \]

解得回归参数的最小二乘估计为

\[\left\{\begin{array}{l} \hat\gamma=\bar{y} \ , \\ \hat\beta=\left(Z'Z\right)^{-1}Z'Y \ . \end{array}\right. \]

这里矩阵 \(Z\) 具有如下性质：

\[\boldsymbol{1}_n'Z=0 \ , \quad R=Z'Z=(r_{ij})_{p\times p} \ . \]

其中 \(r_{ij}\) 为自变量 \(x_i\) 和 \(x_j\) 的样本相关系数，矩阵 \(R\) 是自变量的样本相关系数矩阵。

3.2 最小二乘估计的性质

设线性回归模型满足 Gauss-Markov 假设，即

\[Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . \]

下面我们来讨论最小二乘估计 \(\hat\beta=\left(X'X\right)^{-1}X'Y\) 的一些良好的性质。

定理 3.2.1：对于线性回归模型，最小二乘估计 \(\hat\beta=\left(X'X\right)^{-1}X'Y\) 具有下列性质：

(1) \({\rm E}\left(\hat\beta\right)=\beta\) 。

(2) \({\rm Cov}\left(\hat\beta\right)=\sigma^2\left(X'X\right)^{-1}\) 。

(1) 因为 \({\rm E}(Y)=X\beta\) ，所以

\[{\rm E}\left(\hat\beta\right)=\left(X'X\right)^{-1}X'{\rm E}(Y)=\left(X'X\right)^{-1}X'X\beta=\beta \ . \]

(2) 因为 \({\rm Cov}(Y)={\rm Cov}(e)=\sigma^2I_n\) ，所以

\[\begin{aligned} {\rm Cov}\left(\hat\beta\right)&={\rm Cov}\left(\left(X'X\right)^{-1}X'Y\right) \\ \\ &=\left(X'X\right)^{-1}X'{\rm Cov}(Y)X\left(X'X\right)^{-1} \\ \\ &=\left(X'X\right)^{-1}X\sigma^2I_nX\left(X'X\right)^{-1} \\ \\ &=\sigma^2\left(X'X\right)^{-1} \ . \end{aligned} \]

推论 3.2.1：设 \(c\) 是 \(p+1\) 维常数向量，我们称 \(c'\hat\beta\) 是 \(c'\beta\) 的最小二乘估计，具有下列性质：

(1) \({\rm E}\left(c'\hat\beta\right)=c'\beta\) 。

(2) \({\rm Cov}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}c\) 。

该推论说明，对任意的线性函数 \(c'\beta\) ，都有 \(c'\hat\beta\) 是 \(c'\beta\) 的无偏估计，

定理 3.2.2 (Gauss-Markov)：对于线性回归模型，在 \(c'\beta\) 的所有线性无偏估计中，最小二乘估计 \(c'\hat\beta\) 是唯一的最小方差线性无偏估计 (best linear unbiased estimator, BLUE) 。

假设 \(a'Y\) 是 \(c'\beta\) 的一个线性无偏估计，则对 \(\forall\beta\in\mathbb{R}^{p+1}\) ，都有

\[{\rm E}\left(a'Y\right)=a'X\beta=c'\beta \ . \]

所以 \(a'X=c'\) 。又因为

\[\begin{aligned} &{\rm Var}(a'Y)=\sigma^2a'a=\sigma^2\|a\|^2 \ , \\ \\ &{\rm Var}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}c \ , \end{aligned} \]

对 \(\|a\|^2\) 做分解有

\[\begin{aligned} \|a\|^2&=\left\|a-X\left(X'X\right)^{-1}c+X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 +2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right) \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 \ . \end{aligned} \]

最后一个等号是因为

\[\begin{aligned} 2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right)&=2c'\left(X'X\right)^{-1}\left(X'a-c\right)=0 \ . \end{aligned} \]

代入 \(a'Y\) 的方差，所以

\[\begin{aligned} {\rm Var}\left(a'Y\right)&=\sigma^2\|a\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2\left\|X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2c'\left(X'X\right)^{-1}X'X\left(X'X\right)^{-1}c \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+{\rm Var}\left(c'\hat\beta\right) \\ \\ &\geq{\rm Var}\left(c'\hat\beta\right) \ . \end{aligned} \]

等号成立当且仅当 \(\left\|a-X\left(X'X\right)^{-1}c\right\|=0\) ，即 \(a=X\left(X'X\right)^{-1}c\) ，此时 \(c'Y=c'\hat\beta\) ，得证。

误差方差 \(\sigma^2\) 反映了模型误差对因变量的影响大小，下面来估计 \(\sigma^2\) 。

注意到误差向量 \(e=Y-X\beta\) 是不可观测的，用 \(\hat\beta\) 代替 \(\beta\) ，称

\[\hat{e}=Y-X\hat\beta=Y-\hat{Y} \ . \]

为残差向量。设 \(x_i'\) 为设计矩阵 \(X\) 的第 \(i\) 行，则第 \(i\) 次观测的残差可以表示为

\[\hat e_i=y_i-x_i'\hat\beta=y_i-\hat{y}_i \ , \quad i=1,2,\cdots,n \ , \]

称 \(\hat{y}_i\) 为第 \(i\) 次观测的拟合值，称 \(\hat{Y}\) 为拟合值向量。

将 \(\hat{e}\) 看作 \(e\) 的一个估计，定义残差平方和为

\[{\rm RSS}=\hat{e}'\hat{e}=\sum_{i=1}^n\hat{e}_i^2 \ , \]

它从整体上反映了观测数据与回归直线的偏离程度。

定理 3.2.3：我们用 \({\rm RSS}\) 来构造 \(\sigma^2\) 的无偏估计量。

(a) \({\rm RSS}=Y'\left(I_n-X\left(X'X\right)^{-1}X'\right)Y=Y'\left(I_n-H\right)Y\) ；

(b) 若定义 \(\sigma^2\) 的估计量为

\[\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} \ , \]

则 \(\hat\sigma^2\) 是 \(\sigma^2\) 的无偏估计量。

(a) 引入帽子矩阵 \(\hat{Y}=HY\) ，所以 \(\hat{e}=\left(I_n-H\right)Y\) ，所以

\[{\rm RSS}=\hat{e}'\hat{e}=Y'(I_n-H)'(I_n-H)Y=Y'(I_n-H)Y \ . \]

(b) 把 \(Y=X\beta+e\) 代入 \({\rm RSS}\) 的表达式可得

\[\begin{aligned} {\rm RSS}&=(X\beta+e)'(I_n-H)(X\beta+e) \\ \\ &=\beta'X'(I_n-H)X\beta+e'(I_n-H)e \\ \\ &=\beta'X'X\beta-\beta'X'X(X'X)^{-1}X'X\beta++e'(I_n-H)e \\ \\ &=e'(I_n-H)e \ . \end{aligned} \]

由定理 2.2.1 可知

\[\begin{aligned} {\rm E}\left({\rm RSS}\right)&={\rm E}\left[e'(I_n-H)e\right] \\ \\ &=0+{\rm tr}\left[(I_n-H)\sigma^2I_n\right] \\ \\ &=\sigma^2(n-{\rm tr}(H)) \ . \end{aligned} \]

根据对称幂等矩阵的秩与迹相等这一性质可得

\[{\rm tr}(H)={\rm rank}(H)={\rm rank}(X) \ . \]

所以有

\[{\rm E}\left({\rm RSS}\right)=\sigma^2(n-{\rm rank}(X)) \ . \]

进而

\[\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} \]

是 \(\sigma^2\) 的无偏估计量。

如果误差向量 \(e\) 服从正态分布，即 \(e\sim N_n\left(0,\sigma^2I_n\right)\) ，则可以得到 \(\hat\beta\) 和 \(\hat\sigma^2\) 的更多性质。

定理 3.2.4：对于线性回归模型，如果误差向量 \(e\sim N_n\left(0,\sigma^2I_n\right)\) ，则

(a) \(\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right)\) ；

(b) \({\rm RSS}/\sigma^2\sim\chi^2(n-{\rm rank}(X))\) ；

(c) \(\hat\beta\) 与 \({\rm RSS}\) 相互独立。

(a) 注意到

\[\hat\beta=\left(X'X\right)^{-1}X'Y=\left(X'X\right)^{-1}X'(X\beta+e)=\beta+\left(X'X\right)^{-1}X'e \ . \]

由定理 2.3.4 和定理 3.2.1 可得

\[\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right) \ . \]

(b) 注意到

\[\begin{aligned} &\frac{e}{\sigma}\sim N(0,I_n) \ , \\ \\ &\frac{\rm RSS}{\sigma^2}=\frac{e'(I_n-H)e}{\sigma^2}=\left(\frac{e}{\sigma}\right)'(I_n-H)\left(\frac{e}{\sigma}\right) \ , \end{aligned} \]

根据对称幂等矩阵的秩与迹相等这一性质可得

\[{\rm rank}(I_n-H)={\rm tr}(I_n-H)=n-{\rm tr}(H)=n-{\rm rank}(H)=n-{\rm rank}(X) \ . \]

由定理 2.4.3 可得

\[\frac{\rm RSS}{\sigma^2}\sim\chi^2\left(n-{\rm rank}(X)\right) \ . \]

(c) 因为 \(\hat\beta=\beta+\left(X'X\right)^{-1}X'e\) ，而 \({\rm RSS}=e'\left(I_n-H\right)e\) ，注意到

\[\left(X'X\right)^{-1}X'\cdot\sigma^2I_n\cdot\left(I_n-H\right)=0 \ , \]

由推论 2.4.10 可知 \(\left(X'X\right)^{-1}X'e\) 与 \({\rm RSS}\) 相互独立，从而 \(\hat\beta\) 与 \({\rm RSS}\) 相互独立。

当 \(\beta\) 的第一个分量是 \(\beta_0\) 时，取 \(c=(0,\cdots,0,1,0,\cdots,0)'\) ，其中 \(1\) 在 \(c\) 的第 \(i+1\) 个位置，则

\[c'\beta=\beta_i \ , \quad c'\hat\beta=\hat\beta_i \ , \quad i=1,2,\cdots,p \ . \]

推论 3.2.2：对于线性回归模型，若 \(e\sim N\left(0,\sigma^2I_n\right)\) ，则

(a) \(\beta_i\) 的最小二乘估计 \(\hat\beta_i\) 的分布为：

\[\hat\beta_i\sim N\left(\beta_i,\sigma^2\left(\left(X'X\right)^{-1}\right)_{i+1,i+1}\right) \ , \quad i=1,2,\cdots,p \ ; \]

(b) 在 \(\beta_i\) 的一切线性无偏估计中，\(\hat\beta_i\) 是唯一的方差最小者，\(i=1,2,\cdots,p\) 。

推论 3.2.3：对于中心化模型，此时 \(\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'\) ，则有

(a) \({\rm E}\left(\hat\alpha\right)=\alpha,\,{\rm E}\left(\hat\beta\right)=\beta\) ，其中 \(\hat\alpha=\bar{y},\,\hat\beta=\left(X_c'X_c\right)^{-1}X_c'Y\) ；

(b)

\[{\rm Cov}\begin{pmatrix} \hat\alpha \\ \hat\beta \end{pmatrix}=\sigma^2\begin{pmatrix} \cfrac1n & 0 \\ 0 & \left(X_c'X_c\right)^{-1} \end{pmatrix} \ ; \]

(c) 若进一步假设 \(e\sim N\left(0,\sigma^2I_n\right)\) ，则

\[\hat\alpha\sim N\left(\alpha,\frac{\sigma^2}{n}\right) \ , \quad \hat\beta\sim N\left(\beta,\sigma^2\left(X_c'X_c\right)^{-1}\right) \ , \]

且 \(\hat\alpha\) 与 \(\hat\beta\) 相互独立。

总偏差平方和的分解：为了度量数据拟合的程度，我们在已经给出残差平方和 \({\rm RSS}\) 的定义的基础上，继续给出回归平方和 \({\rm ESS}\) 以及总偏差平方和 \({\rm TSS}\) 的定义。

• 回归平方和：

  \[{\rm ESS}=\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right) \ . \]

• 总偏差平方和：

  \[{\rm TSS}=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2=\left(Y-\boldsymbol{1}_n\bar{y}\right)'\left(Y-\boldsymbol{1}_n\bar{y}\right) \ . \]

• 判定系数/测定系数：

  \[R^2=\frac{\rm ESS}{\rm TSS} \ . \]

  称 \(R=\sqrt{R^2}\) 为复相关系数。

为了探究 \({\rm TSS},\,{\rm ESS},\,{\rm RSS}\) 之间的关系，需要给出正规方程组的另一个等价写法。写出目标函数：

\[Q(\beta)=\sum_{i=1}^ne_i^2=\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)^2 \ , \]

关于 \(\beta_0,\beta_1,\cdots,\beta_p\) 分别求偏导数，并令这些导函数等于 \(0\) 可得

\[\left\{\begin{array}{c} \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{i1}=0 \ , \\ \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. \]

这个方程组与 \(X'X\beta=X'Y\) 等价。由于最小二乘估计 \(\hat\beta_0,\hat\beta_1,\cdots,\hat\beta_p\) 是正规方程组的解，所以

\[\left\{\begin{array}{l} \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{i1}=0 \ , \\ \qquad \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. \]

由第一个方程可知

\[\sum_{i=1}^n\hat{e}_i=0 \ , \quad \frac1n\sum_{i=1}^n\hat{y}_i=\bar{y}=\frac1n\sum_{i=1}^ny_i \ . \]

所以有

\[\begin{aligned} {\rm TSS}&=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i+\hat{y}_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+2\sum_{i=1}^n\left(y_i-\hat{y}_i\right)\left(\hat{y}_i-\bar{y}\right) \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+0 \\ \\ &={\rm RSS}+{\rm ESS} \ . \end{aligned} \]

这就证明了总偏差平方和的分解式，即 \({\rm TSS}={\rm RSS}+{\rm ESS}\) 。我们可以基于这个公式来解释这三个平方和以之间关系，以及判定系数 \(R^2\) 的含义。

• 若模型中没有任何自变量，即 \(y_i=\beta_0+e_i,\,i=1,2..,n\) ，可以证明 \(\bar{y}\) 就是 \(\beta_0\) 的最小二乘估计，此时 \({\rm TSS}\) 就是该模型的残差平方和。

• 若模型中引入了自变量 \(x_1,x_2,\cdots,x_p\) ，此时的残差平方和为 \({\rm TSS}={\rm RSS}+{\rm ESS}\) 中的 \({\rm RSS}\) ，所以可以认为 \({\rm ESS}\) 衡量了在模型中引入 \(p\) 个自变量之后，残差平方和的减少量。

• 因此我们认为 \(R^2\) 衡量了在模型中引入 \(p\) 个自变量之后，残差平方和减少的比例。也可以说，\(R^2\) 衡量了自变量 \(x_1,x_2,\cdots,x_p\) 对因变量 \(y\) 的解释能力，且有 \(0\leq R^2\leq1\) 。

定理 3.2.5：对于中心化模型，回归平方和 \({\rm ESS}\) 的计算公式为

\[{\rm ESS}=\hat\beta'X_c'Y=Y'X_c\left(X_c'X_c\right)^{-1}X_c'Y \ . \]

由中心化模型可得 \(\hat{Y}=\boldsymbol 1_n\hat\alpha+X_c\hat\beta\) ，其中 \(\hat\beta=\left(\hat\beta_1,\hat\beta_2,\cdots,\hat\beta_p\right)\) ，所以有

\[\hat{Y}-\boldsymbol1_n\bar{y}=\hat{Y}-\boldsymbol1_n\hat\alpha=X_c\hat\beta \ . \]

代入 \({\rm ESS}\) 的计算公式得

\[{\rm ESS}=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)=\hat\beta'X_c'X_c\hat\beta=\hat\beta'X_c'Y \ . \]