极限理论03：CLT与Edgeworth展开

2023-09-25 22:58:16

中心极限定理

中心极限定理

独立同分布情形(Lindeberg-Lévy CLT)

首先重温Lindeberg-Lévy中心极限定理

定理5.1：（Lindeberg-Lévy CLT)设 $\boldsymbol{X}_{1}, \ldots, \boldsymbol{X}_{n}$ 为 i.i.d.随机向量，记 $\boldsymbol{\mu}=\mathrm{E}\left(\boldsymbol{X}_{1}\right)$ 和$\Sigma=\operatorname{Cov}\left(\boldsymbol{X}_{1}\right)<\infty$ 则 $\sqrt{n}\left(\overline{\boldsymbol{X}}_{n}-\boldsymbol{\mu}\right) \stackrel{d}{\rightarrow} N_{p}(\mathbf{0}, \Sigma)$

但方差有限不为必要条件。由此放宽CLT成立条件并得到如下定理：

定理5.2：设 $X_{1}, X_{2}, \ldots$ 为i.i.d. 随机变量. 存在常数列 $a_{n}$ 和 $b_{n}$ 使得 $\left(\bar{X}_{n}-a_{n}\right) / b_{n} \stackrel{d}{\rightarrow} N(0,1)$ 成立$\iff$ $\frac{x^{2} \mathrm{P}\left(\left|X_{1}\right|>x\right)}{\mathrm{E}\left(X_{1}^{2} 1_{\left\{\left|X_{1}\right| \leq x\right\}}\right)} \rightarrow 0, x \rightarrow \infty$

独立情形(Lindeberg-Feller& Lyapunov CLT)

设$ s_{n}^{{2}=\sum_{i=1}}{n} \sigma_{i}^{2}$，定义

Lindeberg-Feller条件：

\[\frac{1}{s_{n}^{2}} \sum_{i=1}^{n} \mathrm{E}\left[\left(X_{i}-\mu_{i}\right)^{2} 1_{\left\{\left|X_{i}-\mu_{i}\right|>\epsilon s_{n}\right\}}\right] \rightarrow 0, \forall \epsilon>0 \]

Lyapunov条件：

\[\sum_{i=1}^{n} \mathrm{E}\left|X_{i}-\mu_{i}\right|^{2+\delta}=o\left(s_{n}^{2+\delta}\right), \exist\ \delta>0 \]

注：Lindeberg-Feller条件$\Rightarrow$Lyapunov条件

由此得到Lindeberg-Feller和Lyapunov中心极限定理

定理5.2： (Lindeberg-Feller & Lyapunov CLT)设 $X_{i}$ 为独立随机向量有均值$\mu_{i}$ 和有限方差 $\sigma_{i}^{2}$. 令 $s_{n}^{2}=\sum_{i=1}^{n} \sigma_{i}^{2} .$ 如果 Lindeberg-Feller 条件或 Lyapunov 条件成立，则有

\[\sum_{i=1}^{n} X_{i} \text { is } A N\left(\sum_{i=1}^{n} \mu_{i}, s_{n}^{2}\right) \]

例1：设 $X_{1}, X_{2}, \ldots, X_{n}$ 为独立随机变量且 $X_{i} \sim$ Uniform $(-i, i)$ 对任意 $i=1,2, \ldots, n .$ 求 $\sum_{i=1}^{n} X_{i}$的极限分布。

解：由于$X_i$间无同分布条件，故尝试验证是否满足 Linderberg-Feller条件。

$X_i$均值方差为：$E(X_i)=0,Var(X_i)=i^2/3$，对方差求和可得$s_n^2=\sum_{i=1}^n Var(X_i)=n(n+1)(2n+1)/18=O(n^3)$

则有对足够大的$n$,$\forall \epsilon>0,|X_i|\le i\le n<\epsilon s_n$成立。由此可以得到：对足够大的$n$,$I_{\{|X_i|>\epsilon s_n\}}=0$

由$\lim _{n \rightarrow \infty} \sum_{i=1}^{n} \mathrm{E}\left(X_{i}^{2} 1_{\left\{\left|X_{i}\right|>\epsilon s_{n}\right\}}\right)<\infty$和
$s_{n} \rightarrow \infty$可得：Linderberg-Feller条件成立

综上，$\sum_{i=1}^{n} X_{i} $为$ A N\left(0, n(n+1)(2n+1)/18\right)$

例2：设 $X_{1}, X_{2}, \ldots, X_{n}$ 为独立随机变量且 $X_{i} \sim \operatorname{Binomial}\left(1, p_{i}\right)$ 对任意 $i=1,2, \ldots, n$. 如果$\sum_{i=1}^{n} p_{i}\left(1-p_{i}\right) \rightarrow \infty$,求 $\sum_{i=1}^{n} X_{i}$的极限分布。

解：

$X_i$的均值和方差为$\mathrm{E}\left(X_{i}\right)=p_{i}, \operatorname{Var}\left(X_{i}\right)=p_{i}\left(1-p_{i}\right)$ ，对方差求和可得$s_{n}^{2}=\sum_{i=1}^{n} p_{i}\left(1-p_{i}\right)$

计算

$\quad \mathrm{E}\left|X_{i}-\mathrm{E}\left(X_{i}\right)\right|^{3}=\left(1-p_{i}\right)^{3} p_{i}+p_{i}^{3}\left(1-p_{i}\right) \leq 2 p_{i}\left(1-p_{i}\right)$

可得Lyapunov's 条件: $\sum_{i=1}^{n} \mathrm{E}\left|X_{i}-\mu_{i}\right|^{3}=o\left(s_{n}^{3}\right)$ 成立

综上，$\sum_{i=1}^{n} X_{i} $为$ A N\left(\sum_{i=1}^n p_i, \sum_{i=1}^n p_i(1-p_i)\right)$

双序列独立情形（Lindeberg-Feller& Lyapunov &Hájek-Sidak CLT）

以上为$X_i$不随$n$的变化而变化情形，当$X_i$的均值与方差与$n$有关时，（例如对于独立的$X_i$，均值为$\mu$，方差为$\sigma_i^2=i^2\sigma^2$时，$\mu$的$BLUE$为 $\widehat{\mu}_{\mathrm{BLUE}}=\sum_{i=1}^{n} \sigma_{i}^{-2} X_{i} / \sum_{i=1}^{n} \sigma_{i}^{-2}$,权重$w_i$与$n$有关），以上中心极限定理不可使用。下给出双序列下的中心极限定理。

定理5.3：（Lindeberg-Feller & Lyapunov 中心极限定理)设对每个$n \geq 1,\left\{X_{n i}, 1 \leq i \leq k_{n}\right\}$, 独立且有均值 $\mu_{n i}$ 和有限方差 $\sigma_{n i}^{2}$. 令 $s_{n}^{2}=\sum_{i=1}^{k_{n}} \sigma_{n i}^{2}$. 如果 Lindeberg-Feller 条件

\[\frac{1}{s_{n}^{2}} \sum_{i=1}^{k_{n}} \mathrm{E}\left[\left(X_{n i}-\mu_{n i}\right)^{2} 1_{\left\{\left|X_{n i}-\mu_{n i}\right|>\epsilon_{n}\right\}}\right] \rightarrow 0, \forall \epsilon>0 \]

或 Lyapunov 条件

\[\sum_{i=1}^{k_{n}} \mathrm{E}\left|X_{n i}-\mu_{n i}\right|^{2+\delta}=o\left(s_{n}^{2+\delta}\right), \exist \ \delta>0 \]

成立，则

\[\sum_{i=1}^{k_{n}} X_{n i} \text { is } A N\left(\sum_{i=1}^{k_{n}} \mu_{n i}, s_{n}^{2}\right) \]

以上定理说明，若对于双序列情形随机变量，Lindeberg-Feller 或Lyapunov 成立，仍然可以说明随机向量的和是服从渐进正态分布的。

下提供一种计算更简便，但结论更严苛的条件。

定理5.4：(Hájek-Sidak)设 $X_{i}$ 独立同分布，均值为 $\mu$ ，方差有限为 $\sigma^{2} .$ 令 $w_{n}=\left(w_{n 1}, w_{n 2}, \ldots, w_{n n}\right)$ 为常向量且有

\[\max _{1 \leq i \leq n} \frac{w_{n i}^{2}}{\sum_{j=1}^{n} w_{n j}^{2}} \rightarrow 0 \]

$n \rightarrow \infty$.则 $\sum_{i=1}^{n} w_{n i} X_{i}$ 为$A N\left(\sum_{i=1}^{n} w_{n i} \mu, \sum_{i=1}^{n} w_{n i}^{2} \sigma^{2}\right)$.

定义 Hájek-Sidak条件 ：$\max _{1 \leq i \leq n} \frac{w_{n i}^{2}}{\sum_{j=1}^{n} w_{n j}^{2}} \rightarrow 0$

注：可以理解为在常数向量$w_n$中，每一个元素$w_{n_i}$都不会主导$w_n$

多元Lindeberg-Feller CLT

定理5.5：设对任意 $n \geq 1,\left\{\boldsymbol{X}_{n i}, 1 \leq i \leq k_{n}\right\}$ 独立且有均值 $\boldsymbol{\mu}_{n i}$ 和有限协方差阵 $\Sigma_{n i}$. 若 $k_{n}^{-1} \sum_{i=1}^{k_{n}} \Sigma_{n i} \rightarrow \Sigma$对有限正定阵 $\Sigma$ 和

\[\left.k_{n}{ }^{-1} \sum_{i=1}^{k_{n}} \mathrm{E}\left[\left\|\boldsymbol{X}_{n i}-\boldsymbol{\mu}_{n i}\right\|^{2} 1_{\left\{\left\|\boldsymbol{x}_{n i}-\boldsymbol{\mu}_{n}\right\|\right.} \mid>\epsilon \sqrt{\left.\mathrm{k}_{n}\right\}}\right\}\right] \rightarrow 0, \text { for every } \epsilon>0 \]

成立，则渐进正态性成立。

随机数量和（Anscombe-Rényi CLT）

定理5.6：(Anscombe-Rényi)设 $X_{i}$ 为i.i.d. 随机变量且有均值 $\mu$，有限方差 $\sigma^{2}$. 令 $N_{n}$ 为一系列正整数随机变量， $a_{n}$ 为常数列且趋近于无穷，有 $N_{n} / a_{n} \stackrel{p}{\rightarrow} c$其中$c$正常数. 则有,

\[\sqrt{N_{n}}\left(\bar{X}_{N_{n}}-\mu\right) \stackrel{d}{\rightarrow} N\left(0, \sigma^{2}\right) \]

m-相依序列

定义（m-相依)：对于平稳序列$\left\{X_{i}, i=1, \ldots, n\right\}$ ，和给定的m，如果当$j-i>m$时，$\left(X_{1}, X_{2}, \ldots, X_{i}\right)$ 和 $\left(X_{j}, X_{j+1}, \ldots, X_{n}\right)$ 独立，则称平稳序列$\left\{X_{i}, i=1, \ldots, n\right\}$ 为m-相依序列

例如：滑动平均序列为m-相依序列

定理5.7：设 $\left\{X_{i}, i=1, \ldots, n\right\}$为平稳m-相依序列。令 $\mathrm{E}\left(X_{i}\right)=\mu$ 和 $\operatorname{Var}\left(X_{i}\right)=\sigma^{2}<\infty .$ 则$\sqrt{n}\left(\bar{X}_{n}-\mu\right) \stackrel{d}{\rightarrow} N\left(0, \tau^{2}\right)$, 其中 $\tau^{2}=\sigma^{2}+2 \sum_{k=1}^{m} \gamma_{k}$，

收敛速度（Berry-Esséen）

独立同分布

定理5.8（Berry-Esséen）：设 $X_{i}$ 为 i.i.d. 随机向量有均值 $\mu$, 方差 $\sigma^{2}$ 和$\mathrm{E}\left|X_{1}-\mu\right|^{3}<\infty$ 则存在与n和$X_i$分布无关的常数 $C$,使得
$\sup _{x}\left|\mathrm{P}\left(\tilde{S}_{n} \leq x\right)-\Phi(x)\right| \leq \frac{C}{\sqrt{n}} \frac{\mathrm{E}\left|X_{1}-\mu\right|^{3}}{\sigma^{3}}$ 对所有$n$成立。

仅独立

定理5.9：设 $X_{i}$ 独立，有均值$\mu_{i}$, 方差$\sigma_{i}^{2}$ 和 $\mathrm{E}\left|X_{i}-\mu_{i}\right|^{3}<\infty .$ 则存在与n和$X_i$分布无关的常数 $C^*$,使得

\[\sup _{x}\left|\mathrm{P}\left(\tilde{S}_{n} \leq x\right)-\Phi(x)\right| \leq \frac{C^{*} \sum_{i=1}^{n} \mathrm{E}\left|X_{i}-\mu_{i}\right|^{3}}{\left(\sum_{i=1}^{n} \sigma_{i}^{2}\right)^{3 / 2}} \]

对所有$n$成立

由定理5.8和5.9，可用来控制渐进误差的大小，即控制精度的大小。

以下定理5.10给出在点x的局部误差上界

定理5.10：设 $X_{i}$ 独立，有均值 $\mu_{i}$, 方差 $\sigma_{i}^{2}$, 和 $\mathrm{E}\left|X_{i}-\mu_{i}\right|^{2+\delta}<\infty$ $\exist 0<\delta \leq 1$. 则

\[\left|\mathrm{P}\left(\tilde{S}_{n} \leq x\right)-\Phi(x)\right| \leq \frac{C^{* *}}{1+|x|^{2+\delta}} \frac{\sum_{i=1}^{n} \mathrm{E}\left|X_{i}-\mu_{i}\right|^{2+\delta}}{\left(\sum_{i=1}^{n} \sigma_{i}^{2}\right)^{1+\delta / 2}} \]

其中 $C^{* *}$为与$n$和分布无关的常数.

Edgeworth展开

定义：

$X$ 的矩母函数 (m.g.f.) 定义为 $\psi_{\boldsymbol{X}}(\boldsymbol{t})=\mathrm{E}\left\{\exp \left(\boldsymbol{t}^{\top} \boldsymbol{X}\right)\right\}$
当 $0<\psi_{\boldsymbol{X}}(\boldsymbol{t})<\infty$时，$X$的累积量母函数 (c.g.f.) 定义为$\kappa_{\boldsymbol{X}}(\boldsymbol{t})=\log \psi_{\boldsymbol{X}}(\boldsymbol{t})$ ，

定理5.11(Two-Term Edgeworth Expansion)：

设$X_1,X_2,\cdots \stackrel{i.i.d}{\sim}X $， $X$ 分布绝对连续，均值$\mu$、方差$\sigma^2$和四阶矩 $\mathrm{E}\left(X^{4}\right)<\infty .$ 则$Z_n=\frac{\sqrt n (\bar X_n-\mu)}{\sigma}$的分布函数可写为：

\[F_{Z_{n}}(x)=\Phi(x)+n^{-1 / 2} p_{1}(x) \phi(x)+n^{-1} p_{2}(x) \phi(x)+O\left(n^{-3 / 2}\right) \]

对 $x$一致成立, 其中 $p_{1}(x)=-\frac{1}{6} \kappa_{3}\left(x^{2}-1\right)$ ， $p_{2}(x)=-x\left\{\frac{1}{24} \kappa_{4}\left(x^{2}-3\right)+\frac{1}{72} \kappa_{3}^{2}\left(x^{4}-10 x^{2}+15\right)\right\}$

Edgeworth展开可理解为中心极限定理的推广，独立和的高阶展开；类似于对于非随机函数的Taylor展开。

码农公寓