【作者主页】Francek Chen
【专栏介绍】 ⌈ ⌈ ⌈Python机器学习 ⌋ ⌋ ⌋ 机器学习是一门人工智能的分支学科，通过算法和模型让计算机从数据中学习，进行模型训练和优化，做出预测、分类和决策支持。Python成为机器学习的首选语言，依赖于强大的开源库如Scikit-learn、TensorFlow和PyTorch。本专栏介绍机器学习的相关算法以及基于Python的算法实现。
【GitCode】专栏资源保存在我的GitCode仓库：https://gitcode.com/Morse_Chen/Python_machine_learning。

---

  本文我们继续介绍概率相关模型的算法。在前面的文章中，我们已经讲解了贝叶斯网络与最大似然估计（MLE）。设数据集的样本为${\mathbf{x}}_1,{\mathbf{x}}_2,\cdots ,{\mathbf{x}}_N$，标签为$y_1,y_2,\cdots ,y_N$，我们用$\mathbf{X}$和$\mathbf{y}$分别表示全体样本和全体标签。对于监督学习的任务，我们可以通过最大化对数似然 $l(\mathbf{w})=\log P(\mathbf{y}|\mathbf{X},\mathbf{w})$ 来求解模型的参数$\mathbf{w}$。而对于无监督学习任务，我们要求解样本$\mathbf{X}$的分布。这时，我们通常需要先假设数据服从某种分布，再求解这个分布的参数。例如假设数据呈现高斯分布$\mathcal{N}(\mathbf{\mu },\mathbf{\Sigma })$，然后可以通过MLE的方式来求得最佳的高斯分布参数$\mathbf{\mu }$和$\mathbf{\Sigma }$。

  更进一步思考，真实世界的数据分布往往较为复杂，其背后往往具有一定的结构性，直接使用一个概率分布模型无法有效刻画数据分布。例如，我们可以假设数据服从高斯混合模型（Gaussian mixture model，GMM），即$\mathcal{N}({\mathbf{\mu }}_1,{\mathbf{\Sigma }}_1,\cdots ,{\mathbf{\mu }}_k,{\mathbf{\Sigma }}_k)$，该模型是由$k$个相互独立的高斯分布 ${\mathcal{N}}_i({\mathbf{\mu }}_i,{\mathbf{\Sigma }}_i)(i=1,\cdots ,k)$ 组合而成的，数据集中的每个样本${\mathbf{x}}_j$都从其中的某个高斯分布采样得到。在现实生活中，符合GMM的数据集有很多。例如，我们统计了某学校中所有学生的身高。通常认为，人的身高是在某个均值附近的高斯分布，然而男生和女生身高的均值是不同的。因此，我们可以认为男生身高和女生身高分别服从不同的高斯分布，而总的数据集就符合GMM。

  在GMM中，我们要求解的参数共有两种，一种是每个高斯分布的参数${\mathbf{\mu }}_i$和${\mathbf{\Sigma }}_i$，另一种是每个高斯分布在GMM中的占比。记 $z\in 1,\cdots ,k$ 是高斯分布的编号，$z$出现的次数越多，从分布$\mathcal{N}({\mathbf{\mu }}_z,{\mathbf{\Sigma }}_z)$采样的数据在数据集中的占比就越大。所以，后者相当于求解$z$的多项分布$p(z)$。

  从贝叶斯网络的角度来看，上面的分析过程建立了如下图1所示的贝叶斯网络。其中，$\mathbf{\varphi }$是多项分布$p(z)$的参数，$z$取 $1,\cdots ,k$ 的概率分别是 ${\varphi }_1,\cdots ,{\varphi }_k$。而对每个样本${\mathbf{x}}_i$，我们先从多项分布中采样${\mathbf{z}}_i$，确定样本属于哪个高斯分布，再从该高斯分布$\mathcal{N}({\mathbf{\mu }}_{z_i},{\mathbf{\Sigma }}_{z_i})$中采样出样本${\mathbf{x}}_i$。于是，我们可以利用中间变量$z$把$\mathbf{x}$的分布拆分为 $p(\mathbf{x})=p(\mathbf{x}|z)p(z)$。

图1 高斯混合模型的贝叶斯网络

  按照MLE的思想，参数的似然就是在此参数条件下出现观测到的数据分布的概率，也即 $L(\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })=P(\mathbf{X}|\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })$。我们将似然取对数，得到
$$\begin{array}{rl}l(\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })& =\log L(\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })=\log P(\mathbf{X}|\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })\\ & =\log \prod _{i=1}^{N}P({\mathbf{x}}_i|\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })\\ & =\sum _{i=1}^N\log P({\mathbf{x}}_i|\mathbf{\varphi },\mathbf{\mu },\mathbf{\Sigma })\\ & =\\ & \end{array}$$