概率图分为有向图（bayesian network）与无向图（markov random filed）。在概率图上可以建立生成模型或判别模型。有向图多为生成模型，无向图多为判别模型。
判别模型（Discriminative Model），又可以称为条件模型，或条件概率模型。估计的是条件概率分布(conditional distribution)，p(class|context)。利用正负例和分类标签，主要关心判别模型的边缘分布。其目标函数直接对应于分类准确率。 （判别模型多数放在分类）
主要特点：寻找不同类别之间的最优分类面，反映的是异类数据之间的差异。
优点：（1）分类边界更灵活，比使用纯概率方法或生产模型得到的更高级；（2）能清晰的分辨出多类或某一类与其他类之间的差异特征；（3）在聚类、视角变化、部分遮挡、尺度改变等方面效果较好；（4）适用于较多类别的识别；（5）判别模型的性能比生成模型要简单，比较容易学习。
缺点：（1）不能反映训练数据本身的特性，即能力有限，可以告诉你的是1还是2，但没有办法把整个场景描述出来；（2）缺少生成模型的优点，即先验结构的不确定性；（3）黑盒操作，即变量间的关系不清楚，不可视。
常见的主要有：logistic regression、SVMs、traditional neural networks、Nearest neighbor、Conditional random fields。
主要应用：Image and document classification、Biosequence analysis、Time series prediction。
优点：（1）实际上带的信息要比判别模型丰富；（2）研究单类问题比判别模型灵活性强；（3）模型可以通过增量学习得到；（4）能用于数据不完整（missing data）情况；（5）很容易将先验知识考虑进去。
缺点：（1）容易会产生错误分类；（2）学习和计算过程比较复杂。
常见的主要有：Gaussians、Naive Bayes、Mixtures of multinomials、Mixtures of Gaussians、Mixtures of experts、HMMs、Sigmoidal belief networks、Bayesian networks、Markov random fields。
主要应用：（1）传统基于规则的或布尔逻辑系统正被统计方法所代替；（2）医学诊断。
注：所列举的生成模型也可以用判决模型的方法来训练，比如GMM或HMM，训练的方法有EBW(Extended Baum Welch)，或最近Fei Sha提出的Large Margin方法。