通俗理解LDA主题模型

0 前言

印象中，最開始听说“LDA”这个名词，是缘于rickjin在2013年3月写的一个LDA科普系列，叫LDA数学八卦，我当时一直想看来着，记得还打印过一次，但不知是由于这篇文档的前序铺垫太长（如今才意识到这些“铺垫”都是深刻理解LDA 的基础，但假设没有人帮助刚開始学习的人提纲挈领、把握主次、理清思路，则非常easy陷入LDA的细枝末节之中），还是由于当中的数学推导细节太多，导致一直没有完整看完过。

2013年12月，在我组织的Machine Learning读书会第8期上，@夏粉_百度 讲机器学习中排序学习的理论和算法研究。@沈醉2011 则讲主题模型的理解。又一次碰到了主题模型，当时貌似仅仅记得沈博讲了一个汪峰写歌词的样例。依旧没有理解LDA究竟是怎样一个东西（但理解了LDA之后。再看沈博主题模型的PPT会非常赞）。

直到昨日下午。机器学习班 第12次课上，邹讲完LDA之后，才真正明确LDA原来是那么一个东东！上完课后，趁热打铁，再次看LDA数学八卦，发现曾经看不下去的文档再看时居然一路都比較顺畅。一口气看完大部。看完大部后，思路清晰了。知道理解LDA。能够分为下述5个步骤：

1. 一个函数：gamma函数
2. 四个分布：二项分布、多项分布、beta分布、Dirichlet分布
3. 一个概念和一个理念：共轭先验和贝叶斯框架
4. 两个模型：pLSA、LDA（在本文第4 部分阐述）
5. 一个採样：Gibbs採样

本文便依照上述5个步骤来阐述，希望读者看完本文后，能对LDA有个尽量清晰完整的了解。同一时候，本文基于邹讲LDA的PPT、rickjin的LDA数学八卦及其它參考资料写就，能够定义为一篇学习笔记或课程笔记，当然，兴许不断增加了非常多自己的理解。

若有不论什么问题，欢迎随时于本文评论下指出，thanks。

1 gamma函数

1.0 总体把握LDA

关于LDA有两种含义，一种是线性判别分析（Linear Discriminant Analysis），一种是概率主题模型：隐含狄利克雷分布（Latent Dirichlet Allocation，简称LDA），本文讲后者。

另外，我先简单说下LDA的总体思想。不然我怕你看了半天。铺了太长的前奏。却依旧因没见到LDA的影子而显得“心浮气躁”，导致不想再继续看下去。所以，先给你吃一颗定心丸。明确总体框架后，咱们再一步步抽丝剥茧。展开来论述。

依照wiki上的介绍，LDA由Blei, David M.、Ng, Andrew Y.、Jordan于2003年提出。是一种主题模型，它能够将文档集 中每篇文档的主题以概率分布的形式给出。从而通过分析一些文档抽取出它们的主题（分布）出来后，便能够依据主题（分布）进行主题聚类或文本分类。同一时候，它是一种典型的词袋模型，即一篇文档是由一组词构成，词与词之间没有先后顺序的关系。

此外，一篇文档能够包括多个主题，文档中每一个词都由当中的一个主题生成。

人类是怎么生成文档的呢？LDA的这三位作者在原始论文中给了一个简单的样例。比方假设事先给定了这几个主题：Arts、Budgets、Children、Education，然后通过学习训练。获取每一个主题Topic相应的词语。例如以下图所看到的：

然后以一定的概率选取上述某个主题，再以一定的概率选取那个主题下的某个单词，不断的反复这两步，终于生成例如以下图所看到的的一篇文章（当中不同颜色的词语分别相应上图中不同主题下的词）：

当中，相似Beta分布是二项式分布的共轭先验概率分布。而狄利克雷分布. 假设你每写一篇文档会制作一颗K面的“文档-主题”骰子（扔此骰子能得到K个主题中的随意一个），和K个V面的“主题-词项” 骰子（每一个骰子相应一个主题，K个骰子相应之前的K个主题。且骰子的每一面相应要选择的词项，V个面相应着V个可选的词）。

• 比方可令K=3。即制作1个含有3个主题的“文档-主题”骰子，这3个主题能够是：教育、经济、交通。然后令V = 3，制作3个有着3面的“主题-词项”骰子，当中，教育主题骰子的3个面上的词能够是：大学、老师、课程。经济主题骰子的3个面上的词能够是：市场、企业、金融，交通主题骰子的3个面上的词能够是：高铁、汽车、飞机。

上述过程抽象出来即是PLSA的文档生成模型。在这个过程中，我们并未关注词和词之间的出现顺序，所以pLSA是一种词袋方法。详细说来，该模型假设一组共现(co-occurrence)词项关联着一个隐含的主题类别。

同一时候定义：

• 表示海量文档中某篇文档被选中的概率。
• 表示词在给定文档中出现的概率。
• 怎么计算得到呢？针对海量文档，对全部文档进行分词后，得到一个词汇列表。这样每篇文档就是一个词语的集合。

  对于每一个词语，用它在文档中出现的次数除以文档中词语总的数目便是它在文档中出现的概率。

• 表示详细某个主题在给定文档下出现的概率。
• 表示详细某个词在给定主题下出现的概率，与主题关系越密切的词，其条件概率越大。

1. 依照概率选择一篇文档
2. 选定文档后，从主题分布中依照概率选择一个隐含的主题类别
3. 选定后，从词分布中依照概率选择一个词

1. 依照概率选择一篇文档
2. 选定文档后。确定文章的主题分布
3. 从主题分布中依照概率选择一个隐含的主题类别
4. 选定后，确定主题下的词分布
5. 从词分布中依照概率选择一个词 ”

1. 依照先验概率选择一篇文档
2. 从狄利克雷分布（即Dirichlet分布）中取样生成文档 的主题分布，换言之，主题分布由超參数为的Dirichlet分布生成
3. 从主题的多项式分布中取样生成文档第 j 个词的主题
4. 从狄利克雷分布（即Dirichlet分布）中取样生成主题相应的词语分布。换言之，词语分布由參数为的Dirichlet分布生成
5. 从词语的多项式分布中採样终于生成词语 ”

    从上面两个过程能够看出，LDA在PLSA的基础上，为主题分布和词分布分别加了两个Dirichlet先验。

继续拿之前解说PLSA的样例进行详细说明。

如前所述。在PLSA中，选主题和选词都是两个随机的过程，先从主题分布{教育：0.5，经济：0.3。交通：0.2}中抽取出主题：教育，然后从该主题相应的词分布{大学：0.5，老师：0.3，课程：0.2}中抽取出词：大学。

• 但在贝叶斯框架下的LDA中，我们不再觉得主题分布（各个主题在文档中出现的概率分布）和词分布（各个词语在某个主题下出现的概率分布）是唯一确定的（而是随机变量），而是有非常多种可能。但一篇文档总得相应一个主题分布和一个词分布吧。怎么办呢？LDA为它们弄了两个Dirichlet先验參数，这个Dirichlet先验为某篇文档随机抽取出某个主题分布和词分布。
• 文档d产生主题z（准确的说。事实上是Dirichlet先验为文档d生成主题分布Θ，然后依据主题分布Θ产生主题z）的概率，主题z产生单词w的概率都不再是某两个确定的值。而是随机变量。
• 还是再次举下文档d详细产生主题z的样例。给定一篇文档d，如今有多个主题z1、z2、z3，它们的主题分布{ P(zi|d), i = 1,2,3 }可能是{0.4,0.5,0.1}，也可能是{0.2,0.2,0.6}，即这些主题被d选中的概率都不再觉得是确定的值，可能是P(z1|d) = 0.4、P(z2|d) = 0.5、P(z3|d) = 0.1，也有可能是P(z1|d) = 0.2、P(z2|d) = 0.2、P(z3|d) = 0.6等等。而主题分布究竟是哪个取值集合我们不确定（为什么？这就是贝叶斯派的核心思想。把未知參数当作是随机变量，不再觉得是某一个确定的值）。但其先验分布是dirichlet 分布，所以能够从无穷多个主题分布中依照dirichlet 先验随机抽取出某个主题分布出来。例如以下图所看到的（图截取自沈博PPT上）：

    换言之，LDA在pLSA的基础上给这两參数（、）加了两个先验分布的參数（贝叶斯化）：一个主题分布的先验分布Dirichlet分布，和一个词语分布的先验分布Dirichlet分布。

4.3.2 LDA生成文档过程的进一步理解

    所以尽管说dirichlet分布是随机选取随意一个主题分布的，但依旧存在着P(A) = P(B) = P(C) >> P(D) = P(E)。即dirichlet分布还是“偏爱”某些主题分布的。至于dirichlet分布的參数是怎样决定dirichlet分布的形状的。能够从dirichlet分布的定义和公式思考。

4.3.3 pLSA跟LDA的概率图对照

    接下来，对照下LDA跟pLSA的概率模型图模型，左图是pLSA。右图是LDA（右图不太规范，z跟w都得是小写。 当中，阴影圆圈表示可观測的变量。非阴影圆圈表示隐变量，箭头表示两变量间的条件依赖性conditional dependency，方框表示反复抽样，方框右下角的数字代表反复抽样的次数）：

        

    相应到上面右图的LDA，仅仅有W / w是观察到的变量，其它都是隐变量或者參数。当中。Φ表示词分布，Θ表示主题分布， 是主题分布Θ的先验分布（即Dirichlet 分布）的參数。是词分布Φ的先验分布（即Dirichlet 分布）的參数，N表示文档的单词总数，M表示文档的总数。

    所以，对于一篇文档d中的每一个单词，LDA依据先验知识确定某篇文档的主题分布θ，然后从该文档所相应的多项分布（主题分布）θ中抽取一个主题z，接着依据先验知识确定当前主题的词语分布ϕ，然后从主题z所相应的多项分布（词分布）ϕ中抽取一个单词w。然后将这个过程反复N次。就产生了文档d。

    换言之：

1. 假定语料库*同拥有M篇文章，每篇文章下的Topic的主题分布是一个从參数为的Dirichlet先验分布中採样得到的Multinomial分布。每一个Topic下的词分布是一个从參数为的Dirichlet先验分布中採样得到的Multinomial分布。
2. 对于某篇文章中的第n个词，首先从该文章中出现的每一个主题的Multinomial分布（主题分布）中选择或採样一个主题，然后再在这个主题相应的词的Multinomial分布（词分布）中选择或採样一个词。不断反复这个随机生成过程，直到M篇文章全部生成完毕。

    综上，M 篇文档会相应于 M 个独立的 Dirichlet-Multinomial 共轭结构。K 个 topic 会相应于 K 个独立的 Dirichlet-Multinomial 共轭结构。

• 当中。→θ→z 表示生成文档中的全部词相应的主题，显然 →θ 相应的是Dirichlet 分布，θ→z 相应的是 Multinomial 分布。所以总体是一个 Dirichlet-Multinomial 共轭结构。例如以下图所看到的：

• 相似的，→φ→w，easy看出， 此时β→φ相应的是 Dirichlet 分布， φ→w 相应的是 Multinomial 分布， 所以总体也是一个Dirichlet-Multinomial 共轭结构，例如以下图所看到的：

4.3.4 pLSA跟LDA參数预计方法的对照

“ 假设，相同能够证明有下述结论成立：

”
    所以，终于求解的Dirichlet 分布期望为：

如此，K 个topic 相应着K条路径，Gibbs Sampling 便在这K 条路径中进行採样。例如以下图所看到的：

1. @SiNZeRo：lda 假设用em就是 map预计了. lda本意是要去找后验分布 然后拿后验分布做bayesian分析. 比方theta的期望 . 而不是把先验作为正则化引入。最后一点gibbs sampling事实上不是求解的过程 是去explore后验分布 去採样 用于求期望.
2. @研究者July：好问题好建议，这几天我陆续完好下！//@帅广应s：LDA这个东西该怎么用？能够用在哪些地方？还有就是Gibbs抽样的原理是什么？代码怎么实现？假设用EM来做，代码怎么实现？ LDA模型的变形和优化有哪些？LDA不适用于解决哪类的问题？总之，不明确怎么用，參数怎么调优？ 
3. @xiangnanhe：写的非常好，4.1.3节中的那两个图非常赞，非常直观的理解了LDA模型加了先验之后在学參数的时候要比PLSI更灵活；PLSI在学參数的过程中比較easy陷入local minimum然后overfitting。
4. @asker2：不管是pLSA中，还是LDA中，主题分布和词分布本身是固定的存在，但都未知。

   pLSA跟LDA的差别在于，去探索这两个未知參数的方法或思想不一样。

   pLSA是求到一个能拟合文本最好的參数（分布），这个值就觉得是真实的參数。

   但LDA觉得，事实上我们没法去全然求解出主题分布、词分布究竟是什么參数，我们仅仅能把它们当成随机变量。通过缩小其方差（变化度）来尽量让这个随机变量变得更“确切”。换言之，我们不再求主题分布、词分布的详细值，而是通过这些分布生成的观測值（即实际文本）来反推分布的參数的范围，即在什么范围比較可能，在什么范围不太可能。所以，事实上这就是一种贝叶斯分析的思想，尽管无法给出真实值详细是多少。但能够依照经验给一个相对合理的真实值服从的先验分布。然后从先验出发求解其后验分布。

5. ..

前5天就像在树林里中行走，要走的慷慨向非常明确，但在选取哪条小道上则颇费了一番周折，但当最后走出了树林。登上山顶，俯瞰整个森林时，奥，原来它就长这样，会有一种彻爽的感觉！

而后5 天。则慢慢開始接近LDA的本质：pLSA的贝叶斯版本号。