关于分类算法我们之前也讨论过了KNN、决策树、naivebayes、SVM、ANN、logistic回归。关于这么多的分类算法，我们自然需要考虑谁的表现更加的优秀。

既然要对分类算法进行评价，那么我们自然得有评价依据。到目前为止，我们讨论分类的有效性都是基于分类成功率来说的，但是这个指标科学吗？我们不妨考虑这么一个事实：一个样本集合里有95个正例，5个反例，分类器C1利用似然的思想将所有的实例均分成正例，分类成功率为95%；分类器C2成功分出了80个正例，3个反例，分类成功率仅83%。我们可以说分类器C2不如C1吗？这就充分表明了，分类成功率掩盖了样本是如何被分错的事实。

那么我们怎么来充分反映分类的好坏呢？一个普遍使用的办法就是报告分类矩阵（又称混淆矩阵），他可以帮助我们更好地理解分类情况，许多的分类评价指标都是基于分类矩阵发展起来的。

一、考察数据与考察方法

当然，分类器在一个数据集上的好坏说明不了任何问题。以一个数据集的表现来评价分类器性能对分类器而言是极端不公正的也是极端不科学的。但是我们这里因为篇幅限制，也只能通过一个数据集来看看分类的好坏。

我们使用一个在信用评分领域里大名鼎鼎的免费数据集，German Credit Dataset，你可以在UCI Machine LearningRepository找到（下载；数据描述）。我们把这个数据分为两部分，训练数据train和测试数据test，我们感兴趣的二分变量是good_bad，取值为{good, bad}。

信用评分指帮助贷款机构发放消费信贷的一整套决策模型及其支持技术。一般地，信用评分技术将客户分为好客户与坏客户两类，比如说，好客户(good)能够按期还本付息（履约），违约的就是坏客户(bad)。具体做法是根据历史上每个类别（履约、违约）的若干样本，从已知的数据中考察借款人的哪些特征对其拖欠或违约行为有影响，从而测量借款人的违约风险，为信贷决策提供依据。

二、分类矩阵

一个完美的分类模型就是，如果一个客户实际上(Actual)属于类别good，也预测成(Predicted)good，处于类别bad，也就预测成bad。但从上面我们看到，一些实际上是good的客户，根据我们的模型，却预测他为bad，对一些原本是bad的客户，却预测他为good。我们需要知道，这个模型到底预测对了多少，预测错了多少，分类矩阵就把所有这些信息，都归到一个表里：

FP和FN就是我们常说的第一类错误与第二类错误，以这四个基本指标可以衍生出多个分类器评价指标。

我们来看看KNN、决策树、naivebayes、SVM、ANN、logistic回归这6种基分类器的分类矩阵。

好了，分类矩阵全部算出来了，现在我们需要考虑的便是应该定义怎样的评价指标了。

三、具体的静态分类指标

常见的分类指标大致有如下几个：

运行下列代码还可以得到近似的AUC：

这里我解释一下为什么这么算。首先我们回到ROC曲线的定义上，我们可以清楚的看到曲线下方的点都是正例得分超过反例的点。这也再次说明了AUC给出了分类器的平均性能值。于是，利用蒙特卡罗的办法就可以轻松地得到面积。aucs<-replicate(1000,mean(sample(pos.label,1000,replace=T)> sample(neg.label,1000,replace=T)))代码是为了利用bootstrap的办法来看看模拟计算的好坏而写的，可以忽略不看。

（tips:蒙特卡罗算面积的一个很直观的解释.假设你要计算上图的面积，我们可以将这个图片用1*1的纸张打印出来，倒1000颗豆子到纸上（假定豆子全在纸上），那么大数定律告诉我们，落在曲线下方的豆子数/总豆子数可以看做任取一点那一点落在曲线下方的概率=曲线下方的面积/总面积，总面积已知，故求出曲线下方的面积）

我们将logistic回归，人工神经网络（ANN）、支持向量机（SVM）、朴素贝叶斯（naivebayes）的ROC曲线绘制如下（训练数据集）：

在看看测试数据集的ROC曲线：

从上图我们可以很容易理解为何业界人士那么喜欢logistic回归作为信用评分的标准了吧，它不仅简单而且好用。

为了精确的比较，我们还是来报告一下AUC：

除了ANN可能是我设计的不是那么的合理（隐藏结点取5有些magic number的味道）导致其AUC可能超过logistic而没有超过外，其他的都能看到logistic在AUC指标下表现不俗。但是我们从整个ROC曲线来看。Logistic的优势在于logistic很好的控制住了FPR，所以在两类错误代价不一致时，如何选取还得仔细分析。正如同我们前面说的数据分析是一门艺术而不是一门技术，具体问题还需具体分析。

五、ROC的延续

ROC曲线的所有内容都是分类矩阵提供的，我们可以运用ROC类似的办法来定义一些新的曲线来衡量分类器性能的好坏。我们这里还是先回顾一下分类矩阵：

1、PR曲线

我们之前在评述静态分类指标时就说过，在某些如推荐或信息获取领域还会组合使用precision-recall作为评价指标。那么我们不妨来看看precision与recall展示到二维空间后评估了什么？合理的解释又是什么？

Precision-Recall曲线，这个东西应该是来源于信息检索中对相关性的评价，用我们的例子来讲，Precision 就是我们决定发放贷款的人群中有多少是会按时还款的，Recall就是所有值得发放贷款的人有多少被银行挑选出来给予服务了。放到检索中来说，Precision 就是检索出来的条目中（比如网页）有多少是准确的，Recall就是所有准确的条目有多少被检索出来了。这也就是为什么IR中很多算法的评估都用到Precision和Recall来评估好坏。

我们来看看logistic回归在测试集上PR曲线的表现：

Logistic回归在训练集上的表现：

与ROC曲线的做法类似，我们这里不再详述PR曲线的做法，我们直接上代码：

我们来看看PR意义下不同分类器的绩效（左训练集右测试集）：

2、lift曲线

我们再一次回到分类矩阵：

考虑lift曲线，意味着我们需要重新加入一个指标：lift。为了叙述的简便，在说lift之前我们引入指标：depth、k。

• Depth=proportionallocated to class 1=(TP+FP)/(P+N)，表示预测成正例的样例占总样例的比例。
• K=P/(P+N)，表示总样例中正例所占的比例。

Precision表明如果采用了分类器，正例的识别比例；而k表明如果不用分类器，用随机的方式抽取出正例的比例。这二者相比自然就解决了如果使用者用分类器分类会使得正类产生的比例会增加多少的问题。这就自然而然的定义了提升值lift：Lift=precision/K，意味着与不利用模型相比，模型的预测能力“变好”了多少。

显然，lift(提升指数)越大，模型的运行效果越好。如果这个模型的预测能力跟似然的结果一样（lift等于1），这个模型就没有任何“提升”了。

光有lift一个指标是不够的，那么还有一个指标是什么呢？depth（有的书称为RPP：正类预测比例，Rate of positive predictions的缩写）。之所以选择depth是因为随着阈值的减小，更多的客户就会被归为正例，也就是depth（预测成正例的比例）变大。当阈值设定得足够的小，那么几乎所有的观测值都会被归为正例（depth几乎为1）——这时分类的效果就跟似然的结果差不多了，相对应的lift值就接近于1。

lift曲线是数据挖掘分类器最常用的方式之一，与ROC曲线不同的是lift考虑分类器的准确性，也就是使用分类器获得的正类数量和不使用分类器随机获取正类数量的比例。

那么在一个合理的depth范围内，我们要寻找最大的提升。这就是比较模型的依据。我们先来看看logistic回归模型的lift图：

一个常用的利用lift图作为模型比较依据的办法：lift图把验证数据集中的观测数据根据它们的分数以升序或降序排列，分数是基于训练数据集估计的响应事件(成功)的概率。把这些分数再细分成10分位点，然后对验证数据集中的每个10分位点计算和图示成功的预测概率。如果这些成功的预测概率与估计概率具有相同的顺序（升序或降序），那么模型就是有效的。  我们以下图为例：

• 图中可看出分数以降序排列，所以曲线减少越多表明模型越好。因此模型classification tree看起来比另一个更好，特别是在第3个10分位点，它具有较好的成功率。
• 用每个曲线的值除以基本线，可得到性能的相对指标，称为lift，它测量一个模型的价值。
• 对于模型classification tree，在第3个10分位点的lift值为2.77(即2.27％/1.0％)，这意味着使用模型classification tree的成功率是随机选择（基本线）的3倍。

我们来看看lift意义下不同分类器的绩效（左训练集右测试集）：

当然这里有必要指出的是lift这个指标就是作为单纯的静态指标也是很常用的，而且可以这么说lift作为静态指标比作为这样的动态指标更常用，毕竟比起用哪一类模型我们更关心确定的那一个模型的好坏。通常来说lift大于2就说明分类效果可以了。但是对于有偏数据来说，似然估计的准确率已经很高了，希望lift达到2或者更高基本不太现实。

3、Gains曲线

有了lift的基础，我们要说的增益曲线就变得异常简单了，lift曲线不是以lift作为评价指标嘛，我们换成precision作为评价指标，画precision-depth曲线就是传说中的gains曲线了。

4、Lorenz曲线

既然gains曲线选择了precision作为纵轴，那我们选recall可不可以呢？当然可以，传说中的lorenz曲线就是他了。

lorenz曲线的横轴就是lift曲线中涉及到的深度depth，也就是：将样本的预测为1的概率从大到小排序后，取前百分之几。通常会简化成十分位点，0%,10%,20%,...,90%,100%。而曲线的纵轴其实就是相对应的TPR。形象地说，就是我们面对着一堆人（1000个），这堆人里面有20个坏人，我们的目标就是抓坏人。通过模型计算，我们把这堆人按照可能是坏人的概率从大到小地排了队，然后我们抓取前一百名，在这前一百名里面，可能就有13个坏人了（因为这一百个人的是坏人的概率比较高嘛），也就是说我们只抓取10%的样本，但是抓到了65%的目标。从lift的角度也可以很好地理解这种提升效果，而lorenz则更形象地展示了这种投入产出比的含义。

以上提到的ROC、Lift、Gains、Lorenz，都是基于混淆矩阵及其派生出来的几个指标。如果愿意，你随意组合几个指标，展示到二维空间，就是一种跟ROC平行的评估图。

六、R实现

R提供了各种各样的函数来实现分类的绩效评估。我们为了保持行文的一贯性，我们使用鸢尾花数据（仅考虑后两种花的分类）SVM模型来说说R是如何实现绩效评估的。

有些指标在另一群人的眼中是这样的：

1. Sensitivity（覆盖率，True Positive Rate）=正确预测到的正例数/实际正例总数
2. PV+ (命中率，Precision,Positive Predicted Value) =正确预测到的正例数/预测正例总数
3. Specificity (负例的覆盖率，True Negative Rate) =正确预测到的负例个数/实际负例总数

我们来看看最熟悉的分类矩阵（data仅为鸢尾花的51到150行的数据）：

之后是ROC图：

• 函数笔记：ROCR包提供了ROC图的绘制函数，他的主要函数有：
  prediction(predictions, labels, label.ordering = NULL)
  参数说明：
  Predictions:是评价的得分向量
  Labels:真实的分类向量
  performance(prediction.obj, measure, x.measure="cutoff", ...)
  参数说明：
  Prediction.obj：由prediction生成的对象
  Measure：各种评价指标，如recall、precision、actual等，详见帮助文档，x.measure类似

计算AUC：

计算ROC意义下的最佳阈值：

• 函数笔记：Daim包的roc函数提供了roc曲线的绘制，最佳cutoff点的求解，auc求解等功能。
  roc(x, labels, labpos, thres=NULL, ...)
  参数说明：
  X:评价得分向量
  Labels:实际分类向量
  Thres:正例名称
• Tips:你可以尝试plot(roc1)

绘制PR曲线：（默认以加载ROCR包，下同）

绘制lift曲线：

绘制Gain曲线

绘制Lorenz曲线：

除此以外，你还可以尝试Sensitivity/specificity曲线（试着解释一下它）

• tips：基本上你可以拿任何两种指标填入measure与x.measure里便可以得到一幅图，还有很多幅图都是可以画的，你可以逐一去尝试他们，这里就不一一介绍了。

七、小结

前面说了那么多，我们考虑GermanCredit Dataset这个例子，把我们所说的东西的含义简单的总结一下。

我们所说的增益gain意味着从30%的人里抓到了50%的欺骗者，这就是gain曲线（0.3,0.5）这一坐标点的含义。对角线意味着利用似然想法随意抓人的收益。

我们所说的提升lift意味着从30%的人里抓，抓到5个，比随便抓，抓到3个要好了5/3=1.7，这就是lift曲线（0.3,1.7）这一点的含义

我们所说的ROC曲线意味着从30%的人里面抓到了欺骗者的50%（5/10）,抓错了好人20%（4/20），这就是ROC曲线上（0.2,0.5）的含义。对角线意味着胡乱抓人（每人都有50%的可能是欺骗者）的情况。

Lorenz曲线与K-S指标见下图：

（上图的坐标轴标注不是很准确：红线是lorenz bad，蓝线是lorenzgood）

Reference：

这次不提供further reading，这篇文章参考但不限于下列文献：

百度百科：ROC曲线

波波头一头：二分类模型性能评价2.0（ROC曲线，lift曲线，lorenz曲线）

胡江堂：分类模型的性能评估系列文章（混淆矩阵、ROC和AUC、lift和gain）

丕子：再理解下ROC曲线和PR曲线

不周山：分类器评价、混淆矩阵与ROC曲线

预告

注：这篇文章所用的数据，代码你也可以点击这里下载

转自：http://blog.csdn.net/yujunbeta/article/details/18138957#comments