0 概述
为了衡量一个机器学习模型的好坏,需要给定一个测试集,用模型对测试集中的每个样本进行预测,并根据预测结果计算评价分数。对于分类问题,常见的评价指标有准确率、精确率、召回率和F值等。给定测试集\(\tau =\left \{ \left ( \pmb{x}^{(1)},y^{(1)} \right ),...,\left ( \pmb{x}^{(N)},y^{(N)} \right )\right \}\),假设标签\(y^{(n)}\in \left \{ 1,...C \right \}\),用学习好的模型\(f(\pmb{x};\theta ^{*})\)对测试集中的每一个样本进行预测,结果为\(\left \{ \hat{y}^{(1)},...,\hat{y}^{(N)} \right \}\)。各指标定义如下:
1 准确率
准确率(Accuracy)是最常用的评价指标:
2 错误率
和准确率对应的就是错误率(Error Rate):
3 精确率(查准率)和召回率(查全率)
对于一个分类问题,对类别c来说,模型在测试集上的结果可以分为以下四种情况:
- 真正例(TP):真实类别为正例,预测类别为正例。
- 假正例(FP):真实类别为负例,预测类别为正例。
- 真负例(TN):真实类别为负例,预测类别为负例。
- 假负例(FN):真实类别为正例,预测类别为负例。
类别c的混淆矩阵为:
类别c | 预测为正 | 预测为负 |
---|---|---|
真实类别为正 | \(TP_{c}\) | \(FN_{c}\) |
真实类别为负 | \(FP_{c}\) | \(TN_{c}\) |
- 精确率定义如下:
- 召回率定义如下:
- F值定义如下:
当\(\beta\)取值为1时,称为F1值。
4 宏平均和微平均
为了计算分类算法在所有类别上的总体精确率、召回率和F1值,经常使用两种平均方法,分别称为宏平均(Macro Average)和微平均(Micro Average)。
- 宏平均的定义如下:
- 微平均:微平均是每个样本的性能指标的平均值
5 例题
假设我们有一个两类鉴别模型和测试集,该模型在该测试集上预测结果与实际类别对比可得:
类别一:
TP1 = 12,FP1 = 9,FN1 = 3
类别1 | 预测为正 | 预测为负 |
---|---|---|
真实类别为正 | 12 | 3 |
真实类别为负 | 9 | \(TN_{1}\) |
易知:P1 = 57.1%,R1 = 80%
类别2:
TP2 = 50,FP2 = 23,FN2 = 9
类别2 | 预测为正 | 预测为负 |
---|---|---|
真实类别为正 | 50 | 9 |
真实类别为负 | 23 | \(TN_{2}\) |
易知:P2 = 68.5%,R2 = 84.75%
则宏平均:
P_macro P = (P1 + P2) / 2 = 62.82%
P_macro R = (R1 + R2) / 2 = 82.25
微平均:
P_micro P = (TP1 + TP2) / (TP1 + TP2 + FP1 + FP2) = 65.96
P_micro R = (TP1 + TP2) / (TP1 + TP2 + FN1 + FN2) = 83.78
6 总结
如果每个class的样本数量差不多,那么宏平均和微平均没有太大差异,如果每个class的样本数量差异很大,而且你想:
- 更注重样本量多的class:使用宏平均
- 更注重样本量少的class:使用微平均
如果微平均大大低于宏平均,检查样本量多的class
如果宏平均大大低于微平均,检查样本量少的class