期望和方差的定义与性质

期望和方差的定义与性质

分布函数是对随机变量的概率性质最完整的刻画,而随机变量的数字特征则是对某些由随机变量的分布所决定的常数,它刻画了随机变量(或者说,刻画了其分布)的某一方面的性质。我们在了解某一行业工人的经济状况时,首先关心的恐怕会是其平均收入(即期望),这给了我们一个总体印象。另一类重要的数字特征,是衡量一个随机变量(或其分布)取值的散布程度(即方差)。

数学期望

定义

离散型随机变量 X X X的分布律为
P { X = x k } = p k ,   k = 1 , 2 , 3 ⋅ ⋅ ⋅ . P\{X=x_k\}=p_{k},\ k=1, 2, 3···. P{X=xk​}=pk​, k=1,2,3⋅⋅⋅.
若级数
∑ k = 1 ∞ x k p k \sum_{k=1}^{\infty}{x_kp_k} k=1∑∞​xk​pk​
绝对收敛(即 ∑ k = 1 ∞ ∣ x k ∣ p k < ∞ \sum_{k=1}^{\infty}{|x_k|p_k}<\infty ∑k=1∞​∣xk​∣pk​<∞),则称级数 ∑ k = 1 ∞ x k p k \sum_{k=1}^{\infty}{x_kp_k} ∑k=1∞​xk​pk​的和为随机变量 X X X的数学期望,记为 E ( X ) E(X) E(X),即
E ( X ) = ∑ k = 1 ∞ x k p k E(X)=\sum_{k=1}^{\infty}{x_kp_k} E(X)=k=1∑∞​xk​pk​
连续型随机变量 X X X的概率密度为 f ( x ) f(x) f(x),若积分
∫ − ∞ ∞ x f ( x ) d x \int_{-\infty}^{\infty}{xf(x)dx} ∫−∞∞​xf(x)dx
绝对收敛,则称积分 ∫ − ∞ ∞ x f ( x ) d x \int_{-\infty}^{\infty}{xf(x)dx} ∫−∞∞​xf(x)dx的值为随机变量 X X X的数学期望,记为 E ( X ) E(X) E(X),即
E ( X ) = ∫ − ∞ ∞ x f ( x ) d x E(X)=\int_{-\infty}^{\infty}{xf(x)dx} E(X)=∫−∞∞​xf(x)dx

性质

假设所遇到的随机变量的数学期望存在,则其期望具有以下重要的性质

性质1:设 C C C是常数,则有 E ( C ) = C . E(C)=C. E(C)=C.
性质2:设 X X X是一个随机变量, C C C是常数,则有 E ( C X ) = C E ( X ) . E(CX)=CE(X). E(CX)=CE(X).
性质3: 设 X , Y X,Y X,Y是俩个随机变量,则有 E ( X + Y ) = E ( X ) + E ( Y ) . E(X+Y)=E(X)+E(Y). E(X+Y)=E(X)+E(Y).这一性质可以推广到任意有限个随机变量之和的情况。
性质4: 设 X , Y X,Y X,Y是相互独立的随机变量,则有 E ( X Y ) = E ( X ) E ( Y ) . E(XY)=E(X)E(Y). E(XY)=E(X)E(Y).这一性质可以推广到任意有限个相互独立的随机变量之积的情况。

证明

证明1: 设随机变量 X X X为常数 C C C,其概率密度为 f ( x ) f(x) f(x),则根据期望定义可得
∫ − ∞ ∞ x f ( x ) d x = ∫ − ∞ ∞ C f ( x ) d x = C ∫ − ∞ ∞ f ( x ) d x = C , \begin{aligned} \int_{-\infty}^{\infty}{xf(x)dx} &=\int_{-\infty}^{\infty}{Cf(x)dx}\\ &=C\int_{-\infty}^{\infty}{f(x)dx}\\ &=C, \end{aligned} ∫−∞∞​xf(x)dx​=∫−∞∞​Cf(x)dx=C∫−∞∞​f(x)dx=C,​证毕。

证明2:设随机变量 X X X的概率密度为 f ( x ) f(x) f(x), C C C为常数,则根据期望定义可得
E ( C X ) = ∫ − ∞ ∞ C x f ( x ) d x = C ∫ − ∞ ∞ x f ( x ) d x = C E ( X ) , \begin{aligned} E(CX)&=\int_{-\infty}^{\infty}{Cxf(x)dx}\\ &=C\int_{-\infty}^{\infty}{xf(x)dx}\\ &=CE(X), \end{aligned} E(CX)​=∫−∞∞​Cxf(x)dx=C∫−∞∞​xf(x)dx=CE(X),​证毕。

证明3:设二维随机变量 ( X , Y ) (X,Y) (X,Y)的概率密度为 f ( x , y ) f(x,y) f(x,y).其边缘概率密度为 f X ( x ) , f Y ( y ) f_X{(x)},f_Y{(y)} fX​(x),fY​(y),由复合随机变量的期望可得
E ( X + Y ) = ∫ − ∞ ∞ ( x + y ) f ( x + y ) d x d y = ∫ − ∞ ∞ x f ( x + y ) d x d y + ∫ − ∞ ∞ y f ( x + y ) d x d y = E ( X ) + E ( Y ) , \begin{aligned} E(X+Y)&=\int_{-\infty}^{\infty}{(x+y)f(x+y)dxdy}\\ &=\int_{-\infty}^{\infty}{xf(x+y)dxdy}+\int_{-\infty}^{\infty}{yf(x+y)dxdy}\\ &=E(X)+E(Y), \end{aligned} E(X+Y)​=∫−∞∞​(x+y)f(x+y)dxdy=∫−∞∞​xf(x+y)dxdy+∫−∞∞​yf(x+y)dxdy=E(X)+E(Y),​证毕。
证明4:接着证明3,又若 X 和 Y X和Y X和Y相互独立,
E ( X Y ) = ∫ − ∞ ∞ x y f ( x , y ) d x d y = ∫ − ∞ ∞ x y f X ( x ) f Y ( y ) d x d y = [ ∫ − ∞ ∞ x f X ( x ) d x ] [ ∫ − ∞ ∞ x f X ( x ) d x ] = E ( X ) E ( Y ) , \begin{aligned} E(XY)&=\int_{-\infty}^{\infty}{xyf(x,y)dxdy}\\ &=\int_{-\infty}^{\infty}{xyf_X{(x)}f_Y{(y)}dxdy}\\ &=[\int_{-\infty}^{\infty}{xf_X{(x)}dx}][\int_{-\infty}^{\infty}{xf_X{(x)}}dx]\\ &=E(X)E(Y), \end{aligned} E(XY)​=∫−∞∞​xyf(x,y)dxdy=∫−∞∞​xyfX​(x)fY​(y)dxdy=[∫−∞∞​xfX​(x)dx][∫−∞∞​xfX​(x)dx]=E(X)E(Y),​证毕。

方差

定义

设 X X X是一个随机变量,若 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}存在,则称 E { [ X − E ( X ) ] 2 } E\{[X-E(X)]^2\} E{[X−E(X)]2}为 X X X的方差,记为 D ( X ) D(X) D(X)或 V a r ( X ) Var(X) Var(X),即
D ( X ) = V a r ( X ) = E { [ X − E ( X ) ] 2 } . D(X)=Var(X)=E\{[X-E(X)]^2\}. D(X)=Var(X)=E{[X−E(X)]2}.应用中还引入量 D ( X ) \sqrt{D(X)} D(X) ​,记为 σ ( X ) \sigma(X) σ(X),称为标准差均方差

对于离散型随机变量,有
D ( X ) = ∑ k = 1 ∞ [ x k − E ( X ) ] 2 p x , \begin{aligned} D(X)=\sum_{k=1}^{\infty}{[x_k-E(X)]^2p_x}, \end{aligned} D(X)=k=1∑∞​[xk​−E(X)]2px​,​其中 P { X = x k } = p x , k = 1 , 2 , ⋅ ⋅ ⋅ P\{X=x_k\}=p_x,k=1,2,··· P{X=xk​}=px​,k=1,2,⋅⋅⋅是 X X X的分布律。

对于连续型随机变量,有
D ( X ) = ∫ − ∞ ∞ [ x k − E ( X ) ] 2 f x , \begin{aligned} D(X)=\int_{-\infty}^{\infty}{[x_k-E(X)]^2f_x}, \end{aligned} D(X)=∫−∞∞​[xk​−E(X)]2fx​,​其中 f ( x ) f(x) f(x)是 X X X的概率密度。

性质

性质1:设 C C C是常数,则有 D ( C ) = 0. D(C)=0. D(C)=0.
性质2:设 X X X是一个随机变量, C C C是常数,则有 D ( C X ) = C 2 D ( X ) , D ( X + C ) = D ( X ) . D(CX)=C^2D(X),D(X+C)=D(X). D(CX)=C2D(X),D(X+C)=D(X).
性质3: 设 X , Y X,Y X,Y是两个随机变量,则有 D ( X + Y ) = D ( X ) + D ( Y ) + 2 { ( X − E ( X ) ) ( Y − E ( Y ) ) } . D(X+Y)=D(X)+D(Y)+2\{(X-E(X))(Y-E(Y))\}. D(X+Y)=D(X)+D(Y)+2{(X−E(X))(Y−E(Y))}.特别地,若 X , Y X,Y X,Y相互独立,则有 D ( X + Y ) = D ( X ) + D ( Y ) . D(X+Y)=D(X)+D(Y). D(X+Y)=D(X)+D(Y).这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。
性质4: D ( X ) = 0 D(X)=0 D(X)=0的充要条件是 X X X以概率1取常数 E ( X ) E(X) E(X),即
P X = E ( X ) = 1 P{X=E(X)}=1 PX=E(X)=1

证明

证明1: D ( C ) = E { [ C − E ( C ) 2 ] } = 0. D(C)=E\{[C-E(C)^2]\}=0. D(C)=E{[C−E(C)2]}=0.
证明2: D ( C X ) = E { [ C X − E ( C X ) ] 2 } = C 2 E { [ X − E ( X ) ] 2 } . D(CX)=E\{[CX-E(CX)]^2\}=C^2E\{[X-E(X)]^2\}. D(CX)=E{[CX−E(CX)]2}=C2E{[X−E(X)]2}.
D ( X + C ) = E { [ X + C − E ( C + X ) ] 2 } = E { [ X − E ( X ) ] 2 } = D ( X ) . D(X+C)=E\{[X+C-E(C+X)]^2\}=E\{[X-E(X)]^2\}=D(X). D(X+C)=E{[X+C−E(C+X)]2}=E{[X−E(X)]2}=D(X).
证明3
D ( X + Y ) = E { [ X + Y − E ( X + Y ) ] 2 } = E { [ ( X − E ( X ) ) + ( Y − E ( Y ) ) ] 2 } = E { [ X − E ( X ) ] 2 } + E { [ Y − E ( Y ) ] 2 } + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] } = D ( X ) + D ( Y ) + 2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] \begin{aligned} D(X+Y)&=E\{[X+Y-E(X+Y)]^2\} \\ &=E\{[(X-E(X))+(Y-E(Y))]^2\} \\ &=E\{[X-E(X)]^2\} +E\{[Y-E(Y)]^2\}+2E\{[X-E(X)][Y-E(Y)] \}\\ &=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)] \end{aligned} D(X+Y)​=E{[X+Y−E(X+Y)]2}=E{[(X−E(X))+(Y−E(Y))]2}=E{[X−E(X)]2}+E{[Y−E(Y)]2}+2E{[X−E(X)][Y−E(Y)]}=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]​
上式右端第三项:
2 E { [ X − E ( X ) ] [ Y − E ( Y ) ] = 2 E { ( X Y ) − X E ( X ) − Y E ( X ) + E ( X ) E ( Y ) } = 2 { E ( X Y ) − E ( X ) E ( Y ) − E ( Y ) E ( X ) + E ( X ) E ( Y ) } = 2 { E ( X Y ) − E ( X ) E ( Y ) } . \begin{aligned} 2E\{[X-E(X)][Y-E(Y)] &=2E\{(XY)-XE(X)-YE(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)\}. \end{aligned} 2E{[X−E(X)][Y−E(Y)]​=2E{(XY)−XE(X)−YE(X)+E(X)E(Y)}=2{E(XY)−E(X)E(Y)−E(Y)E(X)+E(X)E(Y)}=2{E(XY)−E(X)E(Y)}.​
若 X , Y X,Y X,Y相互独立,由数学期望性质4可知上式右端为0,于是
D ( X + Y ) = D ( X ) + D ( Y ) . D(X+Y)=D(X)+D(Y). D(X+Y)=D(X)+D(Y).
证明4
充分性: 设 P { X = E ( X ) } = 1 P\{X=E(X)\}=1 P{X=E(X)}=1,则有 P { X 2 = [ E ( X ) ] 2 } = 1 P\{X^2=[E(X)]^2\}=1 P{X2=[E(X)]2}=1,于是 D ( X ) = E ( X 2 ) − [ E ( X ) ] 2 = 0 D(X)=E(X^2)-[E(X)]^2=0 D(X)=E(X2)−[E(X)]2=0
必要性:设 D ( X ) = 0 D(X)=0 D(X)=0,要证 P { X − E ( X ) } = 1 P\{X-E(X)\}=1 P{X−E(X)}=1。用反证法,假设 P { X = E ( X ) } < 1 P\{X=E(X)\}<1 P{X=E(X)}<1,则对于某一个数 ε > 0 \varepsilon>0 ε>0,有 P { X − E ( X ) ≥ ε } > 0 P\{X-E(X)\ge\varepsilon\}>0 P{X−E(X)≥ε}>0,但由切比雪夫不等式(可参见上一文章切比雪夫不等式证明及应用),对于任意的 ε > 0 \varepsilon>0 ε>0和 σ = 0 \sigma=0 σ=0,可得 P { ∣ X − E ( X ) ∣ ≥ ε } = 0 P\{|X-E(X)|\ge\varepsilon\}=0 P{∣X−E(X)∣≥ε}=0,但上下矛盾,于是 P { X = E ( X ) } = 1 P\{X=E(X)\}=1 P{X=E(X)}=1。

上一篇:[DP 浅析]四边形不等式优化


下一篇:【算法】复制有随机指针的单链表