充分统计量：概念与应用

在统计学中，充分统计量（Sufficient Statistic） 是一个核心概念。它是从样本中计算得出的函数，能够完整且无损地表征样本中与分布参数相关的信息。在参数估计中，充分统计量能够帮助我们提取必要的统计信息，从而实现更高效的推断。

本文将从充分统计量的定义出发，结合指数族分布的例子，深入探讨这一概念及其在统计推断中的重要性。

---

1. 充分统计量的定义

设 ( X = { x 1 , x 2 , … , x n } X = \{x_1, x_2, \dots, x_n\} X={x1​,x2​,…,xn​} ) 是来自分布 ( $p(x|\theta )$ ) 的样本，其中 ( $\theta$ ) 是分布的参数。统计量 ( $T(X)$ ) 被称为关于参数 ( $\theta$ ) 的充分统计量，如果满足因子分解定理（Factorization Theorem）：

$$p(X|\theta )=h(X)g(T(X),\theta ),$$

其中：

• ( $T(X)$ ) 是样本的函数，即统计量；
• ( $h(X)$ ) 是与 ( $\theta$ ) 无关的函数；
• ( $g(T(X),\theta )$ ) 是 ( $T(X)$ ) 与 ( $\theta$ ) 的联合函数。

直观解释：充分统计量 ( $T(X)$ ) 能够提取样本中关于参数 ( $\theta$ ) 的全部信息，( $h(X)$ ) 则捕捉了样本中与 ( $\theta$ ) 无关的其他信息。

---

2. 充分统计量的意义

假设我们已经计算了充分统计量 ( $T(X)$ )，则原始样本 ( $X$ ) 中的其他信息对于 ( $\theta$ ) 的估计是冗余的。也就是说，利用 ( $T(X)$ ) 进行推断，与直接使用整个样本 ( $X$ ) 的效果是等价的。

例如，在正态分布 ( $X\sim \mathcal{N}(\mu ,{\sigma }^2)$ ) 中：

• 样本均值 ( $\bar{x}=\frac{1}{n}{\sum }_{i=1}^n{x}_i$ ) 是 ( $\mu$ ) 的充分统计量；
• 样本方差 ( $s^2=\frac{1}{n}{\sum }_{i=1}^n(x_i-\bar{x}{)}^2$ ) 是 ( ${\sigma }^2$ ) 的充分统计量。

---

3. 指数族分布与充分统计量

指数族分布是统计学中一类重要的分布形式，其概率密度函数（或质量函数）可以统一表示为：如果读者对指数族分布的概率密度函数的形式有疑问，请参考笔者的另一篇文章 指数族分布（Exponential Family of Distributions）的两种形式及其区别

$$p(x|\theta )=h(x)\exp \left(\eta (\theta {)}^{T}t(x)-A(\theta )\right),$$

其中：

• ( $\eta (\theta )$ ) 是参数 ( $\theta$ ) 的自然参数；
• ( $t(x)$ ) 是样本的充分统计量；
• ( $A(\theta )$ ) 是规范化因子，保证分布的积分为 1；
• ( $h(x)$ ) 是与参数无关的测度函数。

3.1 常见的指数族分布例子

正态分布（均值已知，方差未知）

概率密度函数：
$$p(x|\mu ,{\sigma }^2)=\frac{1}{\sqrt{2\pi {\sigma }^2}}\exp \left(-\frac{(x-\mu {)}^2}{2{\sigma }^2}\right).$$

写成指数族形式：
$$p(x|\mu ,{\sigma }^2)=\exp \left(-\frac{1}{2{\sigma }^2}{x}^2+\frac{\mu }{{\sigma }^2}x-\frac{{\mu }^2}{2{\sigma }^2}-\frac{1}{2}\ln (2\pi {\sigma }^2)\right).$$

充分统计量为：
t ( x ) = { x , x 2 } . t(x) = \{x, x^2\}. t(x)={x,x2}.

泊松分布

概率质量函数：
$$p(x|\lambda )=\frac{{\lambda }^x{e}^{-\lambda }}{x!},x=0,1,2,\dots$$

写成指数族形式：
$$p(x|\lambda )=\exp \left(x\ln \lambda -\lambda -\ln x!\right).$$

充分统计量为：
$$t(x)=$$