BUAA_概率统计_Chap06_大数定律和中心极限定理

第六章 大数定律和中心极限定理

6.1 大数定律

6.1.1 马尔可夫不等式

设随机变量 \(X\) 存在 \(E|X|^k\),\(k>0\),则对任意 \(\varepsilon>0\),成立:

\[P\{|X|\geq \varepsilon\}\leq \dfrac{E|X|^k}{\varepsilon^k}\quad k>0\\ P\{|X-EX|\geq \varepsilon\}\leq \dfrac{E|X-EX|^k}{\varepsilon^k}\quad k>0 \]

6.1.2 切比雪夫不等式

设随机变量 \(X\) 存在 \(EX\) 和 \(DX\),则对任意 \(\varepsilon>0\),成立:

\[P\{|X-EX|\geq \varepsilon\}\leq \dfrac{DX}{\varepsilon^2}\\ P\{|X-EX|< \varepsilon\}\geq1- \dfrac{DX}{\varepsilon^2} \]

固定 \(\varepsilon\) 时,\(DX\) 越小,\(P\{|X-EX|\geq \varepsilon\}\) 越小

  • 理论上证实:方差度量随机变量取值偏离均值的偏移程度。
  • 方差估计“尾概率”
定义

依次列出可数无穷多个随机变量\(X_1,X_2,...,X_n,...\)

简记为 \(\{X_n\}\),称为随机(变量)序列

定义

对于随机(变量)序列 \(\{X_n\}\) 和随机变量 \(X\)(或常数 \(a\)),若对任意 \(\varepsilon>0\),有

\[\lim\limits_{n\rightarrow\infty}P\{|X_n-X|<\varepsilon\}=1\quad或\quad \lim\limits_{n\rightarrow\infty}P\{|X_n-X|\geq\varepsilon\}=0\\ \lim\limits_{n\to\infty}P\{|X_n-a|<\varepsilon\}=1\quad或\quad \lim\limits_{n\rightarrow\infty}P\{|X_n-a|\geq\varepsilon\}=0 \]

则称随机(变量)序列 \(\{X_n\}\) 依概率收敛于 \(X\) (或常数 \(a\)),简记为:

\[X_n\stackrel{P}{\longrightarrow}X,(n\to\infty)\\ X_n\stackrel{P}{\longrightarrow}a,(n\to\infty) \]

6.1.3 切比雪夫弱大数定律

设 \(X_1,X_2,...,X_n,...\) 是相互独立的随机变量,每一个 \(X_i\) 都存在 \(EX_i\) 和有限的 \(DX_i\),且方差有公共上界,即:

\[D(X_i)\leq C,\quad i=1,2,...,n,... \]

则对任意 \(\varepsilon>0\),成立:

\[\lim\limits_{n\to\infty}\Big\{\Big|\dfrac{1}{n}\sum\limits^n_{i=1}X_i-\dfrac{1}{n}\sum\limits^n_{i=1}EX_i\Big|<\varepsilon\Big\}=1 \]

推论

若随机变量序列独立,且有相同的数学期望方差

\[EX_i=\mu,\quad DX_i=\sigma^2,\quad(i=1,2,...) \]

则对任意 \(\varepsilon>0\),有 \(\lim\limits_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=1\)

其中 \(\overline{X}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i\)

6.1.4 辛钦弱大数定律

若随机变量序列独立同分布,存在相同的数学期望 \(EX_i=\mu,\quad (i=1,2,...)\)

则对任意 \(\varepsilon>0\),有 \(\lim\limits_{n\to\infty}P\{|\overline{X}-\mu|<\varepsilon\}=1\)

其中\(\overline{X}=\dfrac{1}{n}\sum\limits_{i=1}^nX_i\)

6.1.5 贝努里弱大数定律

设 \(n_A\) 是 \(n\) 次独立重复试验中事件 \(A\) 发生的次数, \(p\) 是在每次试验中事件 \(A\) 发生的概率,则对任意 \(\varepsilon>0\),有:

\[\lim\limits_{n\to\infty}P\{|\dfrac{n_A}{n}-p|<\varepsilon\}=1 \]

表明

事件 \(A\) 发生的频率 \(\dfrac{n_A}{n}\) 依概率收敛于事件 \(A\) 发生的概率。是频率作为概率的估计值的理论依据。

6.2 中心极限定理

6.2.1 独立同分布中心极限定理

设随机变量 \(X_1,X_2,...,X_n,...\) 独立同分布,且存在有限的数学期望和方差 \(EX_i=\mu,DX_i=\sigma^2\ne 0,(i=1,2,...)\)

\[Y_n=\sum\limits_{i=1}^nX_i \]

\(Y_n^*\) 为 \(Y_n\) 的标准化随机变量,\(Y^*_n=\dfrac{Y_n-EY_n}{\sqrt{DY_n}}=\dfrac{\sum\limits_{i=1}^nX_i-nEX_i}{\sqrt{nDX_i}}\),则

\[\lim\limits_{n\to\infty}F_{Y_n^*}(x)=\lim\limits_{n\to\infty}P\{Y_n^*\leq x\}=\Phi(x) \]

当 \(n\) 充分大时,\(Y_n^*\) 近似服从 \(N(0,1)\),\(Y_n=\sum\limits_{i=1}^nX_i\) 近似服从 \(N(n\mu,n\sigma^2)\)

6.2.2 De Moivre-Laplace 定理

设 \(\mu_n\) 是 \(n\) 次独立重复试验中事件 \(A\) 发生的次数,\(p\) 是在每次试验中事件 \(A\) 发生的概率,则对任意区间 \([a,b]\),成立:

\[\lim\limits_{n\to\infty}P\{a<\dfrac{\mu_n-np}{\sqrt{ np(1-p)}}\leq b\}=\int_a^b\dfrac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}}\,dt=\Phi(b)-\Phi(a) \]

上一篇:机器学习(三十五)— AUC 原理及计算方式


下一篇:BUAA_概率统计_Chap07_统计量及其分布