期望和方差的定义与性质
分布函数是对随机变量的概率性质最完整的刻画，而随机变量的数字特征则是对某些由随机变量的分布所决定的常数，它刻画了随机变量（或者说，刻画了其分布）的某一方面的性质。我们在了解某一行业工人的经济状况时，首先关心的恐怕会是其平均收入(即期望)，这给了我们一个总体印象。另一类重要的数字特征，是衡量一个随机变量（或其分布）取值的散布程度(即方差)。
数学期望
定义
设离散型随机变量
X
X
X的分布律为
P
{
X
=
x
k
}
=
p
k
,
k
=
1
,
2
,
3
⋅
⋅
⋅
.
P\{X=x_k\}=p_{k},\ k=1, 2, 3···.
P{X=xk}=pk, k=1,2,3⋅⋅⋅.
若级数
∑
k
=
1
∞
x
k
p
k
\sum_{k=1}^{\infty}{x_kp_k}
k=1∑∞xkpk
绝对收敛(即
∑
k
=
1
∞
∣
x
k
∣
p
k
<
∞
\sum_{k=1}^{\infty}{|x_k|p_k}<\infty
∑k=1∞∣xk∣pk<∞)，则称级数
∑
k
=
1
∞
x
k
p
k
\sum_{k=1}^{\infty}{x_kp_k}
∑k=1∞xkpk的和为随机变量
X
X
X的数学期望，记为
E
(
X
)
E(X)
E(X)，即
E
(
X
)
=
∑
k
=
1
∞
x
k
p
k
E(X)=\sum_{k=1}^{\infty}{x_kp_k}
E(X)=k=1∑∞xkpk
设连续型随机变量
X
X
X的概率密度为
f
(
x
)
f(x)
f(x)，若积分
∫
−
∞
∞
x
f
(
x
)
d
x
\int_{-\infty}^{\infty}{xf(x)dx}
∫−∞∞xf(x)dx
绝对收敛，则称积分
∫
−
∞
∞
x
f
(
x
)
d
x
\int_{-\infty}^{\infty}{xf(x)dx}
∫−∞∞xf(x)dx的值为随机变量
X
X
X的数学期望，记为
E
(
X
)
E(X)
E(X)，即
E
(
X
)
=
∫
−
∞
∞
x
f
(
x
)
d
x
E(X)=\int_{-\infty}^{\infty}{xf(x)dx}
E(X)=∫−∞∞xf(x)dx
性质
假设所遇到的随机变量的数学期望存在，则其期望具有以下重要的性质：
性质1：设
C
C
C是常数，则有
E
(
C
)
=
C
.
E(C)=C.
E(C)=C.
性质2：设
X
X
X是一个随机变量，
C
C
C是常数，则有
E
(
C
X
)
=
C
E
(
X
)
.
E(CX)=CE(X).
E(CX)=CE(X).
性质3： 设
X
,
Y
X,Y
X,Y是俩个随机变量，则有
E
(
X
+
Y
)
=
E
(
X
)
+
E
(
Y
)
.
E(X+Y)=E(X)+E(Y).
E(X+Y)=E(X)+E(Y).这一性质可以推广到任意有限个随机变量之和的情况。
性质4： 设
X
,
Y
X,Y
X,Y是相互独立的随机变量，则有
E
(
X
Y
)
=
E
(
X
)
E
(
Y
)
.
E(XY)=E(X)E(Y).
E(XY)=E(X)E(Y).这一性质可以推广到任意有限个相互独立的随机变量之积的情况。
证明
证明1： 设随机变量
X
X
X为常数
C
C
C，其概率密度为
f
(
x
)
f(x)
f(x)，则根据期望定义可得
∫
−
∞
∞
x
f
(
x
)
d
x
=
∫
−
∞
∞
C
f
(
x
)
d
x
=
C
∫
−
∞
∞
f
(
x
)
d
x
=
C
,
\begin{aligned} \int_{-\infty}^{\infty}{xf(x)dx} &=\int_{-\infty}^{\infty}{Cf(x)dx}\\ &=C\int_{-\infty}^{\infty}{f(x)dx}\\ &=C, \end{aligned}
∫−∞∞xf(x)dx=∫−∞∞Cf(x)dx=C∫−∞∞f(x)dx=C,证毕。
证明2：设随机变量
X
X
X的概率密度为
f
(
x
)
f(x)
f(x)，
C
C
C为常数，则根据期望定义可得
E
(
C
X
)
=
∫
−
∞
∞
C
x
f
(
x
)
d
x
=
C
∫
−
∞
∞
x
f
(
x
)
d
x
=
C
E
(
X
)
,
\begin{aligned} E(CX)&=\int_{-\infty}^{\infty}{Cxf(x)dx}\\ &=C\int_{-\infty}^{\infty}{xf(x)dx}\\ &=CE(X), \end{aligned}
E(CX)=∫−∞∞Cxf(x)dx=C∫−∞∞xf(x)dx=CE(X),证毕。
证明3：设二维随机变量
(
X
,
Y
)
(X,Y)
(X,Y)的概率密度为
f
(
x
,
y
)
f(x,y)
f(x,y).其边缘概率密度为
f
X
(
x
)
,
f
Y
(
y
)
f_X{(x)},f_Y{(y)}
fX(x),fY(y)，由复合随机变量的期望可得
E
(
X
+
Y
)
=
∫
−
∞
∞
(
x
+
y
)
f
(
x
+
y
)
d
x
d
y
=
∫
−
∞
∞
x
f
(
x
+
y
)
d
x
d
y
+
∫
−
∞
∞
y
f
(
x
+
y
)
d
x
d
y
=
E
(
X
)
+
E
(
Y
)
,
\begin{aligned} E(X+Y)&=\int_{-\infty}^{\infty}{(x+y)f(x+y)dxdy}\\ &=\int_{-\infty}^{\infty}{xf(x+y)dxdy}+\int_{-\infty}^{\infty}{yf(x+y)dxdy}\\ &=E(X)+E(Y), \end{aligned}
E(X+Y)=∫−∞∞(x+y)f(x+y)dxdy=∫−∞∞xf(x+y)dxdy+∫−∞∞yf(x+y)dxdy=E(X)+E(Y),证毕。
证明4:接着证明3，又若
X
和
Y
X和Y
X和Y相互独立，
E
(
X
Y
)
=
∫
−
∞
∞
x
y
f
(
x
,
y
)
d
x
d
y
=
∫
−
∞
∞
x
y
f
X
(
x
)
f
Y
(
y
)
d
x
d
y
=
[
∫
−
∞
∞
x
f
X
(
x
)
d
x
]
[
∫
−
∞
∞
x
f
X
(
x
)
d
x
]
=
E
(
X
)
E
(
Y
)
,
\begin{aligned} E(XY)&=\int_{-\infty}^{\infty}{xyf(x,y)dxdy}\\ &=\int_{-\infty}^{\infty}{xyf_X{(x)}f_Y{(y)}dxdy}\\ &=[\int_{-\infty}^{\infty}{xf_X{(x)}dx}][\int_{-\infty}^{\infty}{xf_X{(x)}}dx]\\ &=E(X)E(Y), \end{aligned}
E(XY)=∫−∞∞xyf(x,y)dxdy=∫−∞∞xyfX(x)fY(y)dxdy=[∫−∞∞xfX(x)dx][∫−∞∞xfX(x)dx]=E(X)E(Y),证毕。
方差
定义
设
X
X
X是一个随机变量，若
E
{
[
X
−
E
(
X
)
]
2
}
E\{[X-E(X)]^2\}
E{[X−E(X)]2}存在，则称
E
{
[
X
−
E
(
X
)
]
2
}
E\{[X-E(X)]^2\}
E{[X−E(X)]2}为
X
X
X的方差，记为
D
(
X
)
D(X)
D(X)或
V
a
r
(
X
)
Var(X)
Var(X)，即
D
(
X
)
=
V
a
r
(
X
)
=
E
{
[
X
−
E
(
X
)
]
2
}
.
D(X)=Var(X)=E\{[X-E(X)]^2\}.
D(X)=Var(X)=E{[X−E(X)]2}.应用中还引入量
D
(
X
)
\sqrt{D(X)}
D(X)
，记为
σ
(
X
)
\sigma(X)
σ(X)，称为标准差或均方差。
对于离散型随机变量，有
D
(
X
)
=
∑
k
=
1
∞
[
x
k
−
E
(
X
)
]
2
p
x
,
\begin{aligned} D(X)=\sum_{k=1}^{\infty}{[x_k-E(X)]^2p_x}, \end{aligned}
D(X)=k=1∑∞[xk−E(X)]2px,其中
P
{
X
=
x
k
}
=
p
x
,
k
=
1
,
2
,
⋅
⋅
⋅
P\{X=x_k\}=p_x,k=1,2,···
P{X=xk}=px,k=1,2,⋅⋅⋅是
X
X
X的分布律。
对于连续型随机变量，有
D
(
X
)
=
∫
−
∞
∞
[
x
k
−
E
(
X
)
]
2
f
x
,
\begin{aligned} D(X)=\int_{-\infty}^{\infty}{[x_k-E(X)]^2f_x}, \end{aligned}
D(X)=∫−∞∞[xk−E(X)]2fx,其中
f
(
x
)
f(x)
f(x)是
X
X
X的概率密度。
性质
性质1：设
C
C
C是常数，则有
D
(
C
)
=
0.
D(C)=0.
D(C)=0.
性质2：设
X
X
X是一个随机变量，
C
C
C是常数，则有
D
(
C
X
)
=
C
2
D
(
X
)
,
D
(
X
+
C
)
=
D
(
X
)
.
D(CX)=C^2D(X),D(X+C)=D(X).
D(CX)=C2D(X),D(X+C)=D(X).
性质3： 设
X
,
Y
X,Y
X,Y是两个随机变量，则有
D
(
X
+
Y
)
=
D
(
X
)
+
D
(
Y
)
+
2
{
(
X
−
E
(
X
)
)
(
Y
−
E
(
Y
)
)
}
.
D(X+Y)=D(X)+D(Y)+2\{(X-E(X))(Y-E(Y))\}.
D(X+Y)=D(X)+D(Y)+2{(X−E(X))(Y−E(Y))}.特别地，若
X
,
Y
X,Y
X,Y相互独立，则有
D
(
X
+
Y
)
=
D
(
X
)
+
D
(
Y
)
.
D(X+Y)=D(X)+D(Y).
D(X+Y)=D(X)+D(Y).这一性质可以推广到任意有限多个相互独立的随机变量之和的情况。
性质4：
D
(
X
)
=
0
D(X)=0
D(X)=0的充要条件是
X
X
X以概率1取常数
E
(
X
)
E(X)
E(X)，即
P
X
=
E
(
X
)
=
1
P{X=E(X)}=1
PX=E(X)=1
证明
证明1：
D
(
C
)
=
E
{
[
C
−
E
(
C
)
2
]
}
=
0.
D(C)=E\{[C-E(C)^2]\}=0.
D(C)=E{[C−E(C)2]}=0.
证明2：
D
(
C
X
)
=
E
{
[
C
X
−
E
(
C
X
)
]
2
}
=
C
2
E
{
[
X
−
E
(
X
)
]
2
}
.
D(CX)=E\{[CX-E(CX)]^2\}=C^2E\{[X-E(X)]^2\}.
D(CX)=E{[CX−E(CX)]2}=C2E{[X−E(X)]2}.
D
(
X
+
C
)
=
E
{
[
X
+
C
−
E
(
C
+
X
)
]
2
}
=
E
{
[
X
−
E
(
X
)
]
2
}
=
D
(
X
)
.
D(X+C)=E\{[X+C-E(C+X)]^2\}=E\{[X-E(X)]^2\}=D(X).
D(X+C)=E{[X+C−E(C+X)]2}=E{[X−E(X)]2}=D(X).
证明3：
D
(
X
+
Y
)
=
E
{
[
X
+
Y
−
E
(
X
+
Y
)
]
2
}
=
E
{
[
(
X
−
E
(
X
)
)
+
(
Y
−
E
(
Y
)
)
]
2
}
=
E
{
[
X
−
E
(
X
)
]
2
}
+
E
{
[
Y
−
E
(
Y
)
]
2
}
+
2
E
{
[
X
−
E
(
X
)
]
[
Y
−
E
(
Y
)
]
}
=
D
(
X
)
+
D
(
Y
)
+
2
E
{
[
X
−
E
(
X
)
]
[
Y
−
E
(
Y
)
]
\begin{aligned} D(X+Y)&=E\{[X+Y-E(X+Y)]^2\} \\ &=E\{[(X-E(X))+(Y-E(Y))]^2\} \\ &=E\{[X-E(X)]^2\} +E\{[Y-E(Y)]^2\}+2E\{[X-E(X)][Y-E(Y)] \}\\ &=D(X)+D(Y)+2E\{[X-E(X)][Y-E(Y)] \end{aligned}
D(X+Y)=E{[X+Y−E(X+Y)]2}=E{[(X−E(X))+(Y−E(Y))]2}=E{[X−E(X)]2}+E{[Y−E(Y)]2}+2E{[X−E(X)][Y−E(Y)]}=D(X)+D(Y)+2E{[X−E(X)][Y−E(Y)]
上式右端第三项：
2
E
{
[
X
−
E
(
X
)
]
[
Y
−
E
(
Y
)
]
=
2
E
{
(
X
Y
)
−
X
E
(
X
)
−
Y
E
(
X
)
+
E
(
X
)
E
(
Y
)
}
=
2
{
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
−
E
(
Y
)
E
(
X
)
+
E
(
X
)
E
(
Y
)
}
=
2
{
E
(
X
Y
)
−
E
(
X
)
E
(
Y
)
}
.
\begin{aligned} 2E\{[X-E(X)][Y-E(Y)] &=2E\{(XY)-XE(X)-YE(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)-E(Y)E(X)+E(X)E(Y)\}\\ &=2\{E(XY)-E(X)E(Y)\}. \end{aligned}
2E{[X−E(X)][Y−E(Y)]=2E{(XY)−XE(X)−YE(X)+E(X)E(Y)}=2{E(XY)−E(X)E(Y)−E(Y)E(X)+E(X)E(Y)}=2{E(XY)−E(X)E(Y)}.
若
X
,
Y
X,Y
X,Y相互独立，由数学期望的性质4可知上式右端为0，于是
D
(
X
+
Y
)
=
D
(
X
)
+
D
(
Y
)
.
D(X+Y)=D(X)+D(Y).
D(X+Y)=D(X)+D(Y).
证明4：
充分性： 设
P
{
X
=
E
(
X
)
}
=
1
P\{X=E(X)\}=1
P{X=E(X)}=1，则有
P
{
X
2
=
[
E
(
X
)
]
2
}
=
1
P\{X^2=[E(X)]^2\}=1
P{X2=[E(X)]2}=1，于是
D
(
X
)
=
E
(
X
2
)
−
[
E
(
X
)
]
2
=
0
D(X)=E(X^2)-[E(X)]^2=0
D(X)=E(X2)−[E(X)]2=0
必要性：设
D
(
X
)
=
0
D(X)=0
D(X)=0，要证
P
{
X
−
E
(
X
)
}
=
1
P\{X-E(X)\}=1
P{X−E(X)}=1。用反证法，假设
P
{
X
=
E
(
X
)
}
<
1
P\{X=E(X)\}<1
P{X=E(X)}<1，则对于某一个数
ε
>
0
\varepsilon>0
ε>0，有
P
{
X
−
E
(
X
)
≥
ε
}
>
0
P\{X-E(X)\ge\varepsilon\}>0
P{X−E(X)≥ε}>0，但由切比雪夫不等式（可参见上一文章切比雪夫不等式证明及应用），对于任意的
ε
>
0
\varepsilon>0
ε>0和
σ
=
0
\sigma=0
σ=0，可得
P
{
∣
X
−
E
(
X
)
∣
≥
ε
}
=
0
P\{|X-E(X)|\ge\varepsilon\}=0
P{∣X−E(X)∣≥ε}=0，但上下矛盾，于是
P
{
X
=
E
(
X
)
}
=
1
P\{X=E(X)\}=1
P{X=E(X)}=1。