sklearn下的ROC与AUC原理详解

ROC全称Receiver operating characteristic。

定义

TPR:true positive rate,正样本中分类正确的比率,即TP/(TP+FN),一般希望它越大越好

FPR:false negtive rage,负样本中分类错误的比率,即FP/(FP+TN),一般希望它越小越好

ROC曲线:以FPR作为X轴,TPR作为y轴

roc_curve函数的原理及计算方式

要作ROC曲线,需要计算FPR及对应的TPR。

对于一个给定的预测概率,设定不同的阈值,预测结果会不一样。例如我们设定阈值在0.5以上的为预测正确的样本和阈值在0.3以上的结果,得到的预测就完全不同。而ROC曲线就是计算不同阈值下FPR及对应的TPR。

以https://www.w3cschool.cn/doc_scikit_learn/scikit_learn-modules-generated-sklearn-metrics-roc_curve.html?lang=en为例

>>> import numpy as np
>>> from sklearn import metrics
>>> y = np.array([1, 1, 2, 2])
>>> scores = np.array([0.1, 0.4, 0.35, 0.8])
>>> fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2)
>>> fpr
array([ 0. ,  0.5,  0.5,  1. ])
>>> tpr
array([ 0.5,  0.5,  1. ,  1. ])
>>> thresholds
array([ 0.8 ,  0.4 ,  0.35,  0.1 ])

roc_curve从score中取了4个值作为阈值,用这个阈值判断,得到不同阈值下的fpr和tpr,利用fpr和tpr作出ROC曲线。

auc原理及计算方式

AUC全称Area Under the Curve,即ROC曲线下的面积。sklearn通过梯形的方法来计算该值。上述例子的auc代码如下:

>>> metrics.auc(fpr, tpr)
0.75

roc_auc_score原理及计算方式

在二分类问题中,roc_auc_score的结果都是一样的,都是计算AUC。

在多分类中,有两种计算方式:One VS Rest和 One VS One,在multi_class参数中分别为ovr和ovo。

ovr:以3分类为例,混淆矩阵分为3层,第一层为C1类和排除了C1的其他类,第二层为C2类和排除了C2的其他类,第三层为C3类和排除了C3的其他类,如图所示:

sklearn下的ROC与AUC原理详解

在这种情况下,需要指明如何得到总的score,sklearn的average参数有4种选择:

micro: 把所有类放在一起计算。即

$ TPR= \frac{TP1+TP2+TP3}{TP1+FN1+TP2+FN2+TP3+FN3} $

$ FPR= \frac{FP1+FP2+FP3}{FP1+TN1+FP2+TN2+FP3+TN3} $

然后以此作ROC曲线,求得score

macro: 为每一层分配相同的权值。即

$ TPR= \frac{1}{3}(\frac{TP1}{TP1+FN1}+\frac{TP2}{TP2+FN2}+\frac{TP3}{TP3+FN3}) $

$ FPR= \frac{1}{3}(\frac{FP1}{FP1+TN1}+\frac{FP2}{FP2+TN2}+\frac{FP3}{FP3+TN3}) $

weighted: 以该类在样本中占的百分比作为权重,计算TPR和FPR。

$ TPR= \frac{TP1}{TP1+FN1}w_1+\frac{TP2}{TP2+FN2}w_2+\frac{TP3}{TP3+FN3}w_3 $

$ FPR= \frac{FP1}{FP1+TN1}w_1+\frac{FP2}{FP2+TN2}w_2+\frac{FP3}{FP3+TN3}w_3 $

sample: 对于样本很不均匀的类,可以采用该方法

上一篇:R语言中的多类别问题的绩效衡量:F1-score 和广义AUC


下一篇:分类算法-逻辑回归与二分类