第五章 随机变量的数字特征
5.1 数学期望
5.1.1 离散型随机变量 \(X\) 的数学期望
定义
设 \(X\) 的分布律为：\(P\{X=x_k\}=p_k,\quad k = 1, 2, ...\)
若级数 \(\sum\limits_{k=1}^{\infty}x_kp_k\) 绝对收敛（即\(\sum\limits_{k=1}^{\infty}|x_k|p_k\) 收敛）
则称级数 \(\sum\limits_{k=1}^\infty x_kp_k\) 为 \(X\) 的数学期望，记为
\[E(X)=EX=\sum\limits_{k=1}^{\infty}x_kp_k \]5.1.2 离散型随机变量 \(X\) 的函数的数学期望
定理
设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 是离散型随机变量，\(P\{X=x_k\}=p_k,\quad k=1,2,...\)
若级数 \(\sum\limits_{k=1}^\infty g(x_k)p_k\) 绝对收敛，则有
\[EY=Eg(X)=\sum\limits_{k=1}^{\infty}g(x_k)p_k \]5.1.3 连续型随机变量 \(X\) 的数学期望
定义
设 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\,dx\) 绝对收敛（即\(\int^{+\infty}_{-\infty}|x|f(x)\,dx\) 收敛）,则称积分 \(\int_{-\infty}^{+\infty}x\cdot f(x)\,dx\) 为 \(X\) 的数学期望，记为
\[EX=\int_{-\infty}^{+\infty}x\cdot f(x)\,dx \]5.1.4 连续型随机变量 \(X\) 的函数的数学期望
定理
设 \(Y=g(X)\)，\(g(x)\) 是连续函数，随机变量 \(X\) 的概率密度为 \(f(x)\)，若积分 \(\int^{+\infty}_{-\infty}g(x)\cdot f(x)\,dx\) 绝对收敛，则随机变量 \(Y=g(X)\) 的数学期望
\[EY=Eg(X)=\int^{+\infty}_{-\infty}g(x)\cdot f(x)\,dx \]5.1.5 随机向量的函数的数学期望
设 \((X,Y)\) 为随机向量，\(g(x,y)\) 为连续函数，那么 \(Z=g(X,Y)\) 是一个随机变量。
- 若 \((X,Y)\) 为离散型随机变量，其分布律为
则有
\[E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij} \]其中 \(E(Z)=Eg(X,Y)=\sum\limits_{i=1}^{\infty}\sum\limits_{j=1}^{\infty}g(x_i,y_j)p_{ij}\) 绝对收敛。
- 若 \((X,Y)\) 为连续型，其概率密度为 \(f(x,y)\)，则有
其中上式绝对收敛。
5.1.6 数学期望的性质
-
设 \(C\) 为常数，则有 \(E(C)=C\)
-
设 \(C\) 为常数，\(X\) 为随机变量，则有 \(E(CX)=C\cdot EX\)
-
设 \(X,Y\) 为任意随机变量，则 \(E(X+Y)=EX+EY\)
-
设 \(X,Y\) 为相互独立的随机变量，则有 \(E(XY)=EX\cdot EY\)
5.2 方差
5.2.1 定义
若 \(E[X-E(X)]^2\) 存在，则称其为随机变量 \(X\) 的方差，记为 \(D(X)\) 或 \(Var(x)\)，即：
\[D(X)=E[X-E(X)]^2\geq 0 \]称 \(\sqrt{D(X)}\) 为 \(X\) 的均方差或标准差
5.2.2 方差的计算公式
方差 \(DX=E(X-EX)^2\) ，是 \(X\) 的函数 \((X-EX)^2\) 的数学期望。
- 若 \(X\) 是离散型随机变量，分布律为：
则：
\[DX=E(X-EX)^2=\sum\limits^\infty_{i=1}(x_i-EX)^2p_i\geq 0 \]- 若 \(X\) 是连续型随机变量，概率密度为 \(f(x)\)，则
- 简便计算公式
5.2.3 方差的性质
- 设 \(C\) 为常数，则有 \(D(C)=0\)
- 设 \(k\) 为常数，\(X\) 为随机变量，则有：
- 设 \(X,Y\) 为相互独立的随机变量，则有
设 \(X_1,X_2,...,X_n\) 为相互独立的随机变量，则有
\[D(\sum\limits_{i=1}^nk_iX_i)=\sum\limits_{i=1}^nk_i^2DX_i \]- \(DX=0\iff P\{X=EX\}=1\)
5.3 常用随机变量的数学期望和方差
5.3.1 (0-1)分布，\(X\sim B(1,p)\)
\[EX=p\\ DX=p(1-p) \]5.3.2 二项分布，\(X\sim B(n,p)\)
\[P\{X=k\}=C^k_np^k(1-p)^{n-k}\quad k=0,1,...,n \] \[EX=np\\ DX=np(1-p) \]5.3.3 泊松分布，\(X\sim \Pi(\lambda)\)
\[P\{X=k\}=\dfrac{e^{-\lambda}\lambda^k}{k!}\quad k=0,1,2,... \] \[EX=\lambda\\ DX=\lambda \]5.3.4 均匀分布，\(X\sim U[a,b]\)
\[f(x)=\left\{\begin{aligned} &\dfrac{1}{b-a},&&a\leq x\leq b\\ &0,&&其它 \end{aligned}\right. \] \[EX=\dfrac{a+b}{2}\\ DX=\dfrac{(b-a)^2}{12} \]5.3.5 指数分布，\(X\sim e(\lambda)\)
\[f(x)=\left\{\begin{aligned} &\lambda e^{-\lambda x},&&x>0\\ &0,&&x\leq0 \end{aligned}\right. \] \[EX=\dfrac{1}{\lambda}\\ DX=\dfrac{1}{\lambda^2} \]5.3.6 正态分布 \(X\sim (\mu,\sigma^2)\)
\[f(x)=\dfrac{1}{\sigma\sqrt{2\pi}}\,e^{-\dfrac{(x-\mu)^2}{2\sigma^2}}\quad -\infty<x<+\infty \] \[EX=\mu\\ DX=\sigma^2 \]定理1：正态分布的性质
- 设\((X_1,X_2)\sim N(\mu_1,\sigma_1^2;\mu_2,\sigma^2_2;\rho)\)，则
- \(X_1,X_2\) 相互独立 \(\Leftrightarrow \rho=0\)
定理2：
设随机变量 \(X_1,X_2,...,X_n,X_{n+1},X_{n+2},...,X_{n+m}\) 相互独立，\(g(x_1,x_2,...,x_n),h(y_1,y_2,...,y_m)\) 是连续函数，设
\[Y_1=g(X_1,X_2,...,X_n)\\ Y_2=h(X_{n+1},X_{n+2},...,X_{n+m}) \]则 \(Y_1,Y_2\) 相互独立
5.4 协方差和相关系数
5.4.1 协方差
定义
称数值 \(E[(X-EX)(Y-EY)]\) 为随机变量 \(X\) 与 \(Y\) 的协方差，记作 \(Cov(X,Y)\) ，即
\[Cov(X,Y)=E[(X-EX)(Y-EY)] \]- 协方差为正，正相关
- 协方差为负，负相关
- 协方差为0，零相关
- 协方差绝对值越大，两个变量同或反向程度也越大
常用计算公式
\[Cov(X,Y)=E(XY)-EX\cdot EY \]协方差的性质
-
\(Cov(X,Y)=Cov(Y,X)\)
-
\(Cov(aX,bY)=abCov(X,Y)\)
-
\(Cov(X_1+X_2,Y)=Cov(X_1,Y)+Cov(X_2,Y)\)
-
若 \(X,Y\) 相互独立，\(Cov(X,Y)=0\)，逆命题不成立
-
\(D(X+Y)=DX+DY+2Cov(X,Y)\)
\(D(X-Y)=DX+DY-2Cov(X,Y)\)
5.4.2 相关系数
定义
称数值 \(\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}\quad DX,DY\ne 0\) 为随机变量 \(X\) 与 \(Y\) 的相关系数或标准协方差，记作 \(\rho_{XY}\) 或简记作 \(\rho\)，即：
\[\rho_{XY}=\dfrac{Cov(X,Y)}{\sqrt{DX}\cdot \sqrt{DY}}=Cov(X^*,Y^*) \]若 \(X,Y\) 的相关系数 \(\rho =0\)，则称 \(X,Y\) 不相关
定理
若 \(X,Y\) 相互独立，则
\[Cov(X,Y)=0\\ \rho_{XY}=0 \]即：
- \(X,Y\) 相互独立\(\Rightarrow X,Y\) 不相关
- \(X,Y\) 不相关 不一定 \(X,Y\) 相互独立
性质
- \(|\rho|\leq 1\)
- \(|\rho|=1\Leftrightarrow P\{Y=aX+b\}=1\)，\(X,Y\) 之间以概率1存在线性关系
相关系数 \(\rho\) 刻画了随机变量 \(X,Y\) 之间的线性关系的近似程度。
\(|\rho|\) 越接近1，\(X,Y\) 越接近线性关系。
柯西不等式
设 \(X,Y\) 为任意随机变量，则
- \([E(XY)^2]\leq E(X^2)\cdot E(Y^2)\)
- 等式成立 \(\Leftrightarrow\) 存在常数 \(t_0\)，使得 \(P\{Y=t_0X\}=1\)
定理
设 \((X,Y)\sim N(\mu_1,\sigma_1;\mu_2,\sigma_2;\rho)\)
\[Cov(X,Y)=\rho \sigma_1\sigma_2\\ \rho_{XY}=\rho \]- \(\rho_{XY}=\rho=0\Leftrightarrow X,Y\) 不相关
- \(\rho=0\Leftrightarrow X,Y\) 相互独立
5.5 矩、协方差矩阵
5.5.1 矩
矩是一些数字特征的泛称或总称。
定义
设 \(X,Y\) 是随机变量，
- 若 \(E(X^k),k=1,2,...\) 存在，则称它为 \(X\) 的 \(k\) 阶原点矩
- 若 \(E(X-EX)^k,k=1,2,...\) 存在，则称它为 \(X\) 的 \(k\) 阶中心矩
数学期望 \(EX=EX^1\) 是一阶原点矩
方差 \(DX=E(X-EX)^2\) 是二阶中心矩
此外，定义：
- \(E(X^kY^l)\quad (k+l)\) 阶原点混合矩
- \(E[(X-EX)^k(Y-EY)^l]\quad (k+l)\) 阶中心混合矩
- \(E|X|^k\quad k\) 阶原点绝对矩
- \(E|X-EX|^k\quad k\) 阶中心绝对矩
5.5.2 协方差矩阵
定义
对于 \(n\) 维随机向量 \((X_1,X_2,...,X_n)\)，
若 \(C_{ij}=Cov(X_i,X_j)=E[(X_i-EX_i)(X_j-EX_j)]\quad i,j=1,2,...,n\) 存在
则矩阵 \(C=(C_{ij})_{n\times n}\) 称为 \((X_1,X_2,...,X_n)\) 的协方差矩阵
协方差矩阵 \(C=(C_{ij})_{n\times n}\) 是一个对称矩阵。
二维正态随机变量 \((X_1,X_2)\)
若令
\[X= \left(\begin{array}&x_1\\x_2\end{array}\right)\quad U=\left(\begin{array}&\mu_1\\\mu_2\end{array}\right) \]\((X_1,X_2)\) 的协方差矩阵为
\[\begin{aligned} &C=\left(\begin{array} &C_{11}&C_{12}\\ C_{21}&C_{22} \end{array}\right)= \left(\begin{array} &\sigma_1^2&\rho\sigma_1\sigma_2\\ \rho\sigma_1\sigma_2&\sigma_2^2 \end{array}\right)\\ &C^{-1}=\dfrac{1}{\det C}\left(\begin{array} &\sigma_2^2 &-\rho\sigma_1\sigma_2\\ -\rho\sigma_1\sigma_2&\sigma_1^2 \end{array}\right)\\ &\det C=\sigma^2_1\sigma^2_2(1-\rho^2) \end{aligned} \]则有
\[\begin{aligned} &(X-U)'C^{-1}(X-U)\\=&\dfrac{1}{\det C}(x_1-\mu_1,x_2-\mu_2) \left(\begin{array}&\sigma_2^2&-\rho\sigma_1\sigma_2\\-\rho\sigma_1\sigma_2&\sigma_1^2\end{array}\right)\left(\begin{array}&x_1-\mu_1\\x_2\mu_2\end{array}\right)\\ =&-\dfrac{1}{1-\rho^2}[\Big(\dfrac{x_1-\mu_1}{\sigma_1}\Big)^2-2\rho\dfrac{(x_1-\mu_1)}{\sigma_1}\dfrac{(x_2-\mu_2)}{\sigma_2}+\Big(\dfrac{x_2-\mu_2}{\sigma_2}\Big)^2] \end{aligned} \]于是 \((X_1,X_2)\) 的概率密度可写成
\[f(x_1,x_2)=\dfrac{1}{2\pi\sqrt{\det C}}\exp\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U) \} \]\(n\) 维正态随机变量 \((X_1,X_2,...,X_n)\)
\[f(x_1,x_2,...,x_n)=\dfrac{1}{(2\pi)^\frac{n}{2}\sqrt{\det C}}\exp\{-\dfrac{1}{2}(X-U)'C^{-1}(X-U) \} \]其中
\[X=\left(\begin{array}&x_1\\x_2\\\vdots\\x_n\end{array}\right) ,\quad U=\left(\begin{array}&\mu_1\\\mu_2\\\vdots\\\mu_n\end{array}\right)=\left(\begin{array}&EX_1\\EX_2\\\vdots\\EX_n\end{array}\right),\quad C=(C_{ij})_{n\times n} \]