Normal-Inverse Gamma Mixture简介

假设 X ∣ γ ∼ N ( μ , γ ) , γ ∼ I G ( α , β ) X|\gamma \sim N(\mu,\gamma),\gamma \sim IG(\alpha,\beta) X∣γ∼N(μ,γ),γ∼IG(α,β)，称 X X X的分布是Normal-Inverse Gamma Mixture，这个mixture在贝叶斯统计中有非常广泛的应用。

应用一：正态方差的共轭分布
先写出 X , γ X,\gamma X,γ的联合概率密度
p ( X , γ ) ∝ ( γ − 1 / 2 e − ( X − μ ) 2 2 γ ) ( γ − ( α + 1 ) e − β γ ) = γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma) \propto \left( \gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2\gamma}} \right) \left( \gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \right) \\ = \gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)∝(γ−1/2e−2γ(X−μ)2​)(γ−(α+1)e−γβ​)=γ−(α+23​)e−γ1​(β+2(X−μ)2​)

这是inverse gamma的kernel，于是
γ ∣ X ∼ I G ( α + 1 2 , β + ( X − μ ) 2 2 ) \gamma|X \sim IG(\alpha+\frac{1}{2},\beta+\frac{(X-\mu)^2}{2}) γ∣X∼IG(α+21​,β+2(X−μ)2​)

这说明当总体是正态分布时且均值已知时，逆伽马分布是总体方差的共轭分布。

应用二：构造t分布
我们写出 X , γ X,\gamma X,γ联合概率密度的完整形式
p ( X , γ ) = ( 2 π ) − 1 / 2 γ − 1 / 2 e − ( X − μ ) 2 2 γ β α 1 Γ ( α ) γ − ( α + 1 ) e − β γ = β α 2 π Γ ( α ) γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) p(X,\gamma)=(2\pi)^{-1/2}\gamma^{-1/2}e^{-\frac{(X-\mu)^2}{2 \gamma}}\beta^{\alpha} \frac{1}{\Gamma(\alpha)}\gamma^{-(\alpha+1)}e^{-\frac{\beta}{\gamma}} \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})} p(X,γ)=(2π)−1/2γ−1/2e−2γ(X−μ)2​βαΓ(α)1​γ−(α+1)e−γβ​=2π ​Γ(α)βα​γ−(α+23​)e−γ1​(β+2(X−μ)2​)

然后计算 X X X的边缘密度
p ( X ) = ∫ γ > 0 p ( X , γ ) d γ = β α 2 π Γ ( α ) ∫ γ > 0 γ − ( α + 3 2 ) e − 1 γ ( β + ( X − μ ) 2 2 ) d γ = β α 2 π Γ ( α ) Γ ( α + 1 2 ) [ β + ( X − μ ) 2 2 ] α + 1 2 = Γ ( α + 1 2 ) 2 β π Γ ( α ) [ 1 + ( X − μ ) 2 2 β ] − 2 α + 1 2 p(X)=\int_{\gamma>0}p(X,\gamma)d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \int_{\gamma>0}\gamma^{-(\alpha+\frac{3}{2})}e^{-\frac{1}{\gamma}(\beta+\frac{(X-\mu)^2}{2})}d\gamma \\ = \frac{\beta^\alpha{}}{\sqrt{2 \pi} \Gamma(\alpha)} \frac{\Gamma(\alpha+\frac{1}{2})}{[\beta+\frac{(X-\mu)^2}{2}]^{\alpha+\frac{1}{2}}} \\ = \frac{\Gamma(\alpha+\frac{1}{2})}{\sqrt{2 \beta \pi}\Gamma(\alpha)}\left[ 1+\frac{(X-\mu)^2}{2 \beta} \right]^{-\frac{2\alpha+1}{2}} p(X)=∫γ>0​p(X,γ)dγ=2π ​Γ(α)βα​∫γ>0​γ−(α+23​)e−γ1​(β+2(X−μ)2​)dγ=2π ​Γ(α)βα​[β+2(X−μ)2​]α+21​Γ(α+21​)​=2βπ ​Γ(α)Γ(α+21​)​[1+2β(X−μ)2​]−22α+1​

这是一个具有一般性的式子，但在一些特殊的取值下它就变成了我们熟悉的分布：

1. 取 β = α \beta=\alpha β=α，则这个分布是t分布 t 2 α t_{2 \alpha} t2α​
2. 取 α = β = 1 / 2 \alpha=\beta=1/2 α=β=1/2，这个分布是Cauchy分布 C ( 0 , μ ) C(0,\mu) C(0,μ)

在统计计算中，可以使用这个技巧将t分布或者Cauchy分布的采样替换为Normal-Inverse Gamma mixture的采样。