概率论 - 样本方差的期望

问题

设 \(X_{1},X_{2}...X_{n}\) 是来自总体 \(X\) 的样本，则称
样本方差 \(S^{2}=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^2\)

理解

从样本方差和总体方差的期望来看。

记 \(X\) 的期望为 \(\mu\) ，方差为 \(\sigma^2\) ，则

\(E\{S^2\}=E\{\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}(X_{i}-\overline{X})^{2}\}\)

\(=\frac{1}{n-1}\displaystyle\sum_{i=1}^{n}E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)

其中，

\(E(X_i^2)=D(X_i)+E^2(X_i)=\sigma^2+\mu^2\)

\(E(\overline{X}^2)=D(\overline{X})+E^2(\overline{X})\)

\(=D(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)+E^2(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)\)

\(=\frac{1}{n^2}\displaystyle\sum_{i=1}^{n}D(X_i)+\frac{1}{n}\displaystyle\sum_{i=1}^{n}E^2(X_i)\)

\(=\frac{1}{n^2}n\sigma^2+\frac{1}{n}n\mu^2\)

\(=\frac{1}{n}\sigma^2+\mu^2\)

对于 \(E(X_i\overline{X})\)，由于对称性，只考虑 \(E(X_1\overline{X})\)。

\(E(X_1\overline{X})=E[X_1(\frac{1}{n}\displaystyle\sum_{i=1}^{n}X_i)]\)

\(=\frac{1}{n}E(X_1^2+X_1X_2+X_1X_3+...+X_1X_n)\)

\(=\frac{1}{n}(\sigma^2+\mu^2+(n-1)\mu^2)\)

\(=\frac{\sigma^2}{n}+\mu^2\)

综合，有

\(E [ X_{i}^{2}-2X_{i}\overline{X}+\overline{X}^{2} ]\)

\(=\sigma^2+\mu^2-2(\frac{\sigma^2}{n}+\mu^2)+\frac{1}{n}\sigma^2+\mu^2\)

\(=\sigma^2-\frac{1}{n}\sigma^2\)

\(=\frac{n-1}{n}\sigma^2\)

即

\(E\{S^2\}=\frac{n}{n-1}\frac{n-1}{n}\sigma^2=\sigma^2\)

也即，样本方差和总体方差的期望一致（无偏）。