参数估计

目录

点估计的概念与无偏性

  • 点估计:设\(x_1,x_2,x_3...x_n\)是来自总体的一个样本,则用于估计未知参数的估计量\(\hat \theta=\hat \theta(x_1,x_2...x_n)\)称为统计量\(\theta\)的点估计。

例如,样本平均值是总体均值的点估计,样本方差是总体方差的点估计。

  • 无偏性

\[E(\hat\theta)=\theta \]

  • 渐近无偏估计

\[\lim_{n\rightarrow\infty}E(\hat \theta)=\theta \]

  • 有效性:设\(\hat \theta_1,\hat \theta_2\)都是\(\theta\)的无偏估计,若对于任意样本,

\[D(\hat \theta_1)\leq D(\hat \theta_2) \]

且至少存在一组样本使不等号严格成立,则称\(\hat \theta_1\)比\(\hat \theta_2\)有效。

矩估计及相合性

  • 矩估计:用样本矩(如均值方差等)估计未知变量的方法。

  • 相合性:\(\theta\)为未知参数,\(\hat \theta\)是\(\theta\)的一个估计量,\(n\)是样本容量,弱对于任意的\(\epsilon>0\),有

\[\lim_{n\rightarrow\infty} P(|\hat\theta-\theta|\geq\epsilon)=0 \]

则称\(\hat\theta\)是\(\theta\)的一个相合估计。

  • 定理:设\(\hat\theta\)是\(\theta\)的一个估计量,若

\[\lim_{n\rightarrow\infty}E\hat\theta=\theta,\lim_{n\rightarrow\infty}D\hat\theta=0 \]

则\(\hat\theta\)是\(\theta\)的一个相合估计。

  • 定理:若\(\hat\theta_1,\hat\theta_2,\hat\theta_3...\hat\theta_k\)是\(\theta_1,\theta_2,\theta_3...\theta_k\)的相合估计,\(\eta=\eta(\theta_1,\theta_2...\theta_k)\)是连续函数,则\(\hat\eta=\hat\eta(\hat\theta_1,\hat\theta_2,\hat\theta_3...\hat\theta_k)\)是\(\eta\)的相合估计

相合性被认为是估计量的一个基本要求。

最大似然估计与EM算法

最大似然估计(MLE,maximum likelihood estimation)

  • 最大似然估计:设总体的概率密度函数为\(f(x;\theta)\),\(\theta\)为未知参数,样本的联合概率密度函数

\[L(\theta)=\prod f(x_i;\theta) \]

称为样本的似然函数,对于统计量\(\hat\theta\)满足

\[L(\hat\theta)=max L(\theta) \]

称\(\hat\theta\)是\(\theta\)的最大似然估计。

  最大似然估计基于这样一个想法:在一次抽样中获得该组数据的概率应当是最大的,因此,取使得联合概率最大的\(\hat\theta\)为\(\theta\)的估计值。

EM算法(Expectation-maximization algorithm)

  • EM算法流程

输入:观察数据 \(x=(x_1,x_2,…x_n)\),联合分布$ p(x,z|\theta)$,条件分布 \(p(z|x,\theta)\), 极大迭代次数 J。

  1. 随机初始化模型参数\(\theta\)的初值\(\theta_0\)

  2. \(for\space j \space in \space range(1,J+1)\):

  • a) E步:计算联合分布的条件概率期望:

    \[Q_i(z^{(i)}) = P( z^{(i)}|x^{(i)},\theta) \]

  • b) M步:极大化 \(L(\theta)\),得到 \(\theta\):

    \[\theta = arg \max \limits_{\theta}\sum\limits_{i=1}^m\sum\limits_{z^{(i)}}Q_i(z^{(i)})log{P(x^{(i)}, z^{(i)}|\theta)} \]

  • c) 重复E、M步骤直到\(\theta\)收敛

输出:模型参数\(\theta\)

  EM算法针对含有隐含分布的数据,可以看作最大似然估计的一种计算方法,详细见其它文章。

最小方差无偏估计

均方误差(MSE,mean square error)

  相合性是大样本下评价估计好坏的一个重要标准,小样本下使用均方误差。

\[MSE(\hat \theta)=E(\hat\theta-\theta)^2 \]

  注意到

\[\begin{split}MSE(\hat\theta)&=E(\hat\theta-E\hat\theta+E\hat\theta-\theta)^2\\&=E(\hat\theta-E\hat\theta)^2+(E\hat\theta-\theta)^2+2E(\hat\theta-E\hat\theta)(E\hat\theta-\theta)\\&=D(\hat\theta)+(E\hat\theta-\theta)^2\end{split} \]

因此,MSE由点估计的方差和偏差平方两部分组成。

最小方差无偏估计

对于参数估计问题,设\(\hat\theta\)是\(\theta\)的一个无偏估计,对于任意的一个\(\theta\)的无偏估计\(\widetilde{\theta}\),若有

\[D(\hat\theta)\leq D(\widetilde{\theta}) \]

则称\(\hat\theta\)是\(\theta\)的一致最小方差无偏估计,记为UMVUE(Uniformly Minimum-Variance Unbiased Estimator)

有限总体的抽样分布

  对于无限总体,或有放回的抽样,由中心极限定理可知,当样本容量\(n\)较大时,有随机变量\(X\sim N(\mu,\frac {\sigma^2}{n})\),当总体有限,并且抽样为无放回抽样时,各样本不满足独立同分布的要求,因此,不服从上述分布,均值、方差与上述计算方法不同。

比率p的抽样分布

  考虑以下有限总体的场景,总体容量为\(N\),其中事件\(A\)的个体数为\(M\),样本容量为\(n\),其中事件\(A\)的个体数为\(m\),总体中事件A发生的概率为\(p=\frac MN\),样本中,事件\(A\)的比率为\(\widehat p=\frac mn\),则\(\widehat p\)是\(p\)的点估计。

有放回抽样

当抽样为有放回抽样时,显然有

\[A\sim B(n,p) \]

\[EA=np \]

\[DA =np(1-p) \]

证明见https://www.cnblogs.com/lifz-ml/p/15105108.html 常用离散分布

显然有

\[E\widehat p=E(\frac mn)=\frac {Em}n=p \]

\[D\widehat p=\frac{Dm}{n^2}=\frac{p(1-p)}{n} \]

无放回抽样

当无放回抽样时,\(X\)不再服从\(n\)重伯努利分布,服从超几何分布

\[A\sim h(n,N,M) \]

\[EA=n\frac MN \]

\[DA=\frac{nM(N-M)(N-n)}{N^2(N-1)} \]

以上证明见https://www.cnblogs.com/lifz-ml/p/15105108.html 常用离散分布

\[E\widehat p=\frac {Em}n=\frac MN=p \]

\[D\widehat p=\frac {Dm}{n^2}=\frac{M(N-M)(N-n)}{nN^2(N-1)}=\frac {p(1-p)}n\frac{N-n}{N-1} \]

其中,\(\sqrt{\frac{N-n}{N-1}}\)被称为有限总体修正系数

均值\(\bar x\)的抽样分布

  考虑如下场景,对于有限总体\(X\),其分布为离散型,可描述为以下分布列:

取值 概率 频数
\(x_1\) \(p_1\) \(f_1\)
\(x_2\) \(p_2\) \(f_2\)
\(x_3\) \(p_3\) \(f_3\)
\(x_4\) \(p_4\) \(f_4\)
... ... ...
\(x_k\) \(p_k\) \(f_k\)

  同样,总体容量为\(N\),样本容量为\(n\),总体均值为\(\mu\),总体方差为\(\sigma^2\)。

有放回抽样

  显然每个样本\(X_i\)独立同分布于\(X\),当样本数\(n\)较大时,有

\[\bar x \sim N(\mu,\frac {\sigma^2}n) \]

无论样本数大小,都有

\[E\bar x =\mu \]

\[D\bar x = \frac {\sigma^2}n \]

无放回抽样

\[E\bar x=E\frac {\sum_{i=1}^{n} X_i}{n}=EX_i=\mu \]

\[D\bar x = \frac {N-n}{N-1}\frac {\sigma^2}n \]

区间估计

  • 置信区间:设\(\theta\)是总体的一个参数,对于给定的\(\alpha(0<\alpha<1)\),设有两个统计量\(\hat\theta_{L}\)和\(\hat\theta_{U}\),对任意的\(\theta\),有

\[P(\hat\theta_{L}\leq\theta\leq\hat\theta_{U})\geq1-\alpha \]

则称\([\hat\theta_{L},\hat\theta_{U}]\)为置信度为\(1-\alpha\)的置信区间

置信区间的一个解释:在次抽样中,每次抽样所得的\(\hat\theta\)有\(1-\alpha\)的概率落在置信区间中。

  • 枢轴量法
    • 构造样本和待预测变量的函数\(G(x_1,x_2,..x_n,\theta)\)
    • 适当选择两常数,使得

    \[P(c\geq G \geq d)=1-\alpha \]

    • 若\(c\geq G \geq d\)能变形为\(\hat\theta_{L}\leq\theta\leq\hat\theta_{U}\),则置信区间可得。

单正态总体的置信区间

\(\sigma\)已知时\(\mu\)的置信区间

由于

\[\bar x\sim N(\mu,\frac {\sigma^2}{n}) \]

因此,构造枢轴量

\[G=\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \]

由标准正态分布表查得,置信度为\(1-\alpha\)的双侧置信区间为\([-z_{1-\frac \alpha 2},z_{1-\frac \alpha 2}]\),则\(\mu\)的置信区间为

\[-z_{1-\frac \alpha 2}\leq\frac{\bar x-\mu}{\sigma/\sqrt{n}}\leq z_{1-\frac \alpha 2} \]

\[\bar x - z_{1-\frac \alpha 2} \frac\sigma{\sqrt{n}}\leq \mu\leq \bar x + z_{1-\frac \alpha 2}\frac\sigma{\sqrt{n}} \]

\(\sigma\)未知时\(\mu\)的置信区间

由于

\[\frac{\bar x-\mu}{\sigma/\sqrt{n}}\sim N(0,1) \]

\[\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1) \]

故,构造枢轴量

\[t=\frac{\bar x-\mu}{s/\sqrt{n}}\sim t(n-1) \]

则置信区间为

\[\bar x - t_{1-\frac \alpha 2}(n-1) \frac s{\sqrt{n}}\leq \mu\leq \bar x + t_{1-\frac \alpha 2}(n-1)\frac s{\sqrt{n}} \]

\(\sigma^2\)的置信区间

以以下统计量为枢轴量

\[\frac{(n-1)s^2}{\sigma^2}\sim\chi^2(n-1) \]

由于\(\chi^2\)是恒为非负的偏态分布,因此,枢轴量区间为

\[[\chi^2_{\frac \alpha 2},\chi^2_{1-\frac \alpha 2}] \]

故\(\sigma^2\)的置信区间为

\[[\frac{(n-1)s^2}{\chi^2_{1-\alpha /2}},\frac{(n-1)s^2}{\chi^2_{\alpha /2}}] \]

大样本置信区间

  以上是正态分布下的枢轴量法,当分布不是正态分布时,寻找枢轴量及其分布会比较困难,因此,当数据量较大时,可用渐近分布构建近似置信区间。以上述抽样比率\(p\)为例,\(X\sim B(1,p)\),由中心极限定理,有以下近似分布

\[\bar x\sim N(p,\frac {p(1-p)}n) \]

构造枢轴量

\[G=\frac {\bar x-p}{\sqrt{p(1-p)/n}}\sim N(0,1) \]

令\(\lambda = z^2_{1-\frac \alpha 2}\),则

\[(\frac {\bar x-p}{\sqrt{p(1-p)/n}})^2\leq \lambda \]

\[(1-\frac \lambda n)p^2-(2p+\frac \lambda n)p+\bar x^2\leq 0 \]

上式两根为

\[\frac 1{1+\lambda/n}(\bar x +\frac \lambda{2n}\pm\sqrt{\frac{\bar x(1-\bar x)}{n}\lambda+\frac {\lambda^2}{4n^2}}) \]

当n较大时,可得近似区间

\[[\bar x-z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}},\bar x+z_{1-\frac \alpha 2}\sqrt{\frac {\bar x(1-\bar x)}{n}}] \]

两正态总体下的置信区间

  \(x_1,x_2,...x_m\)是\(N(\mu_1,\sigma^2_1)\)的样本,\(y_1,y_2,...y_n\)是\(N(\mu_2,\sigma^2_2)\)的样本,\(s_x\),\(s_y\)分别是两样本的方差。

\(\mu_1-\mu_2\)的置信区间

\(\sigma_1^2,\sigma^2_1\)已知时

此时有

\[\bar x-\bar y\sim N(\mu_1-\mu_2,\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}) \]

枢轴量

\[G=\frac {\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}}}\sim N(0,1) \]

则\(\mu_1-\mu_2\)的置信区间为

\[\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{\sigma^2_1}{m}+\frac{\sigma^2_2}{n}} \]

\(\sigma_1^2=\sigma^2_2=\sigma^2\)未知时

\[\bar x-\bar y\sim N(\mu_1-\mu_2,(\frac1{m}+\frac1{n}){\sigma^2}) \]

\[\frac{(m-1)s_x^2+(n-1)s_y^2}{\sigma^2}\sim \chi^2(m+n-2) \]

构造枢轴量

\[t=\sqrt{\frac{mn(m+n-2)}{m+n}}\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{(m-1)s^2_x+(n-1)s^2_y}}\sim t(m+n-2) \]

\[s_w^2=\frac{(m-1)s_x^2+(n-1)s_y^2}{m+n-2} \]

则置信区间为

\[\bar x-\bar y \pm \sqrt{\frac {m+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2) \]

\(\sigma_2^2=c\sigma^2_1\)且c已知时

方法同上,置信区间为

\[\bar x-\bar y \pm \sqrt{\frac {cm+n}{mn}}s_wt_{1-\frac \alpha 2}(m+n-2) \]

m,n都很大时的近似置信区间

由中心极限定理,可得以下近似分布

\[\frac{\bar x-\bar y-(\mu_1-\mu_2)}{\sqrt{\frac{s_x^2}m+\frac{s_y^2}n}}\sim N(0,1) \]

近似置信区间

\[\bar x-\bar y\pm z_{1-\frac \alpha 2}\sqrt{\frac{s_x^2}m+\frac{s_y^2}n} \]

\(\sigma_1^2/\sigma_2^2\)的置信区间

\[\frac {(m-1)s_x^2}{\sigma_1^2}\sim\chi^2(m-1) \]

\[\frac {(n-1)s_y^2}{\sigma_2^2}\sim\chi^2(n-1) \]

构造枢轴量

\[F=\frac{s_x^2/\sigma^2_1}{s_y^2/\sigma^2_2}\sim F(m-1,n-1) \]

\(\sigma_1^2/\sigma_2^2\)的置信区间为

\[[\frac{s_x^2}{s_y^2}\frac1 {F_{1-\frac\alpha2}(m-1,n-1)},\frac{s_x^2}{s_y^2}\frac1 {F_{\frac\alpha2}(m-1,n-1)}] \]

上一篇:MacBook Pro 用户学会这 5 个小技巧,让你的 Touch Bar 更好用


下一篇:Install Jenkins Slave as Windows Service