1 错误率与精度

• 分类错误的样本数占样本总数的比例。
• 分类正确的样本数占样本总数的比例。

2 查准率（precision） 查全率（recall） F1

　　查准率又叫“准确率”，通俗的理解是“挑出的西瓜有多少比例是好瓜”；查全率又叫“召回率”，通俗的理解是“所有的好瓜中有多少比例被挑出来了”。

　　对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive）、假正例（false positive）、真反例（true negative）、假反例（false negative）四种情形，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN=样例总数.分类结果的“混淆矩阵”（confusion matrix）如下表所示.

　　查准率P与查全率R分别定义为：

　　查准率和查全率是一对矛盾的度量.一般来说，查准率高时，查全率往往偏低；而查全率高时，查准率往往偏低。通常只有在一些简单任务中，才可能使查全率和查准率都很高。

　　在很多情形下，我们可根据学习器的预测结果对样例进行排序，排在前面的是学习器认为“最可能”是正例的样本，排在最后的则是学习器认为“最不可能”是正例的样本.按此顺序逐个把样本作为正例进行预测，则每次可以计算出当前的查全率、查准率。以查准率为纵轴、查全率为横轴作图，就得到了查准率-查全率曲线，简称“P-R曲线”，显示该曲线的图称为“P-R图”.下图给出了一个示意图.
　　P-R图直观地显示出学习器在样本总体上的查全率、查准率.在进行比较时，若一个学习器的P-R曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者，例如上图中学习器A的性能优于学习器C；如果两个学习器的P-R曲线发生了交叉，例如上图中的A与B，则难以一般性地断言两者孰优孰劣，只能在具体的查准率或查全率条件下进行比较。然而，在很多情形下，人们往往仍希望把学习器A与B比出个高低.这时一个比较合理的判据是比较P-R曲线下面积的大小，它在一定程度上表征了学习器在查准率和查全率上取得相对“双高”的比例。但这个值不太容易估算，因此，人们设计了一些综合考虑查准率、查全率的性能度量.

　　“平衡点”（Break-Event Point，简称BEP）就是这样一个度量，它是“查准率=查全率”时的取值，例如上图中学习器C的BEP是0.64，而基于BEP的比较，可认为学习器A优于B。

　　但BEP还是过于简化了些，更常用的是F1度量：

 

　　在一些应用中，对查准率和查全率的重视程度有所不同。例如在商品推荐系统中，为了尽可能少打扰用户，更希望推荐内容确是用户感兴趣的，此时查准率更重要；而在逃犯信息检索系统中，更希望尽可能少漏掉逃犯，此时查全率更重要。F1度量的一般形式一Fβ，能让我们表达出对查准率/查全率的不同偏好，它定义为：

 

　　其中β>0度量了查全率对查准率的相对重要性[Van Rijsbergen，1979].β=1时退化为标准的F1；β>1时查全率有更大影响；β<1时查准率有更大影响。

　　很多时候我们有多个二分类混淆矩阵，例如进行多次训练/测试，每次得到一个混淆矩阵；或是在多个数据集上进行训练/测试，希望估计算法的“全局”性能；甚或是执行多分类任务，每两两类别的组合都对应一个混淆矩阵；……总之，我们希望在n个二分类混淆矩阵上综合考察查准率和查全率。
　　一种直接的做法是先在各混淆矩阵上分别计算出查准率和查全率，记为（P1，R1），（P2，R2）.…，（Pa，Rn），再计算平均值，这样就得到“宏查准率”（macro-P）、“宏查全率”（macro-R），以及相应的“宏F1”（macro-F1）：

　　还可先将各混淆矩阵的对应元素进行平均，得到TP、FP、TN、FN的平均值，再基于这些平均值计算出“微查准率”（micro-P）、“微查全率”（micro-R）和“微F1”（micro-F1）：

3 ROC与AUC

　　很多学习器是为测试样本产生一个实值或概率预测，根据这个实值或概率预测结果，我们可将测试样本进行排序，“最可能”是正例的排在最前面，“最不可能”是正例的排在最后面。这样，分类过程就相当于在这个排序中以某个“截断点”（cut point）将样本分为两部分，前一部分判作正例，后一部分则判作反例。

　　在不同的应用任务中，我们可根据任务需求来采用不同的截断点，例如若我们更重视“查准率”，则可选择排序中靠前的位置进行截断；若更重视“查全率”，则可选择靠后的位置进行截断.因此，排序本身的质量好坏，体现了综合考虑学习器在不同任务下的“期望泛化性能”的好坏，或者说，“一般情况下”泛化性能的好坏.ROC曲线则是从这个角度出发来研究学习器泛化性能的有力工具.

　　ROC全称是“受试者工作特征”（Receiver Operating Characteristic）曲线，它与之前介绍的P-R曲线相似，我们根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC曲线”.与P-R曲线使用查准率、查全率为纵、横轴不同，ROC曲线的纵轴是“真正例率”（True Positive Rate，简称TPR），横轴是“假正例率”（False Positive Rate，简称FPR），两者分别定义为

 

　　显示ROC曲线的图称为“ROC图”。

　　现实任务中通常是利用有限个测试样例来绘制ROC图，此时仅能获得有限个（真正例率，假正例率）坐标对，无法产生上图（a）中的光滑ROC曲线，只能绘制出上图（b）所示的近似ROC曲线。绘图过程很简单：给定m+个正例和m-个反例，根据学习器预测结果对样例进行排序，然后把分类阀值设为最大，即把所有样例均预测为反例，此时真正例率和假正例率均为0，在坐标（0，0）处标记一个点.然后，将分类阀值依次设为每个样例的预测值，即依次将每个样例划分为正例.设前一个标记点坐标为（x，y），当前若为真正例，则对应标记点的坐标为（x，y+1/m+）；当前若为假正例，则对应标记点的坐标为（x+1/m-，y），然后用线段连接相邻点即得。

　　进行学习器的比较时，与P-R图相似，若一个学习器的ROC曲线被另一个学习器的曲线完全“包住”，则可断言后者的性能优于前者；若两个学习器的ROC曲线发生交叉，则难以一般性地断言两者孰优孰劣.此时如果一定要进行比较，则较为合理的判据是比较ROC曲线下的面积，即AUC（Area Under ROC Curve）。

4 代价敏感错误率与代价曲线

　　在现实任务中常会遇到这样的情况：不同类型的错误所造成的后果不同。例如在医疗诊断中，错误地把患者诊断为健康人与错误地把健康人诊断为患者，看起来都是犯了“一次错误”，但后者的影响是增加了进一步检查的麻烦，前者的后果却可能是丧失了拯救生命的最佳时机；再如，门禁系统错误地把可通行人员拦在门外，将使得用户体验不佳，但错误地把陌生人放进门内，则会造成严重的安全事故.为权衡不同类型错误所造成的不同损失，可为错误赋予“非均等代价”（unequal cost）。
　　以二分类任务为例，我们可根据任务的领域知识设定一个“代价矩阵”（cost matrix），如下表所示，其中costij；表示将第i类样本预测为第j类样本的代价.一般来说，costii=0；若将第0类判别为第1类所造成的损失更大，则cost01>cost10；损失程度相差越大，cost01与cost10值的差别越大。

　　回顾前面介绍的一些性能度量可看出，它们大都隐式地假设了均等代价。在非均等代价下，我们所希望的不再是简单地最小化错误次数，而是希望最小化“总体代价”（total cost）.若将上表中的第0类作为正类、第1类作为反类，令D+与D-分别代表样例集D的正例子集和反例子集，则“代价敏感”（cost-sensitive）错误率为

　　在非均等代价下，ROC曲线不能直接反映出学习器的期望总体代价，而“代价曲线”（cost curve）则可达到该目的。代价曲线图的横轴是取值为[0，1]的正例概率代价。
其中p是样例为正例的概率；纵轴是取值为[0，1]的归一化代价

　　其中FPR是假正例率，FNR=1-TPR是假反例率。代价曲线的绘制很简单：ROC曲线上每一点对应了代价平面上的一条线段，设ROC曲线上点的坐标为（TPR，FPR），则可相应计算出FNR，然后在代价平面上绘制一条从（0，FPR）到（1，FNR）的线段，线段下的面积即表示了该条件下的期望总体代价；如此将ROC曲线上的每个点转化为代价平面上的一条线段，然后取所有线段的下界，围成的面积即为在所有条件下学习器的期望总体代价，如下图所示：