生成模型(Generative Model)与判别模型(Discriminative Model)

摘要:

  1.定义

  2.常见算法

  3.特性

  4.优缺点

内容:

1.定义

1.1 生成模型:

  在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布(joint probability distribution)。在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。条件概率分布可以由生成模型根据贝叶斯准则形成  (参考自:中文wiki

1.2 判别模型:

  判别模型是一种基于概率理论的方法,由数据直接学习决策函数Y=f(X)或者条件概率分布P(Y|X)作为预测的模型,即判别模型。基本思想是有限样本条件下建立判别函数,不考虑样本的产生模型,直接研究预测模型。

2.常见算法

2.1 生成模型:

  典型的生成模型包括:

2.2 判别模型

  典型的判别模型包括:

3.特性

3.1 生成模型

  生成模型能够用于模拟(即生成)模型中任意变量的分布情况;因此,生成模型更适用于无监督学习

3.2 判别模型

  判别模型只能根据观测变量得到目标变量的采样,判别模型不对观测变量的分布建模,因此它不能够表达观测变量与目标变量之间更复杂的关系;因此判别模型更适合监督学习。 

4.优缺点

4.1 生成模型 

  优点:

    生成方法的学习收敛速度更快,即当样本容量增加的时候,学到的模型可以更快的收敛于真实模型,当存在隐变量时,仍可以用生成方法学习。 

  缺点:

    准确率低

4.2 判别模型

  优点:

    直接面对预测,往往学习的准确率更高。由于直接学习P(Y|X)或P(X),可以对数据进行各种程度上的抽象、定义特征并使用特征,因此可以简化学习问题。

  缺点:

    不能学习隐变量,不能学习联合概率分布;收敛速度较慢

上一篇:0x16 Tire之最大的异或对


下一篇:No_1 手写Proxy