【机器学习】机器学习算法的常用评价指标

目录

一、问题要求

假如准备招标采购一套宿舍行人目标图像识别系统,选择2家公司的产品来测试。测试手段是:从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下:

  • 算法1(产品1)的检测结果:检测出“男生”人数82人,其中78人为男生,4人其实是女生;
  • 算法2(产品2)的检测结果:检测出“男生”人数88人,其中80人为男生,8人其实是女生;
  • 经过人工检测,视频中实际准确的总人数为100人,其中男生80人,女生20人。

请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少?你认为哪个更优秀?

二、概念

分类结果混淆矩阵:

真实情况 预测结果
正例 反例
正例 TP(真正例) FN(假反例)
反例 FP(假正例) TN(真反例)
  • 样本总数:TP+FN+FP+TN
  • 查全率:真实正例被预测为正例的比例
    R = T P T P + F N R={TP\over{TP+FN}} R=TP+FNTP​
  • 真正例率: 真实正例被预测为正例的比例
    R = T P T P + F P R={TP\over{TP+FP}} R=TP+FPTP​
  • F1-score:综合考虑查准率和查全率,用来度量一个模型的好坏。
    F 1 = 2 R P R + P = 2 T P 样 本 总 数 + T P − T N F1= {2RP \over R+P}={2TP \over 样本总数+TP-TN} F1=R+P2RP​=样本总数+TP−TN2TP​

一般情况下,若查准率高,差全率就会偏低;查准率低,查全率就会偏高

三、解决问题

算法一:

真实情况 预测结果
78 2
4 16
  • 查准率:P=0.975
  • 查全率:R=0.9512
  • F1-score:F1=0.963

算法二:

真实情况 预测结果
80 0
8 12
  • 查准率:P=1
  • 查全率:R=0.91
  • F1-score:F1=0.952

对比:

  • 1.从查准率来看,算法2优于算法1
  • 2.从查全率来看,算法1优于算法2
  • 3.从F1来看,算法1优于算法2

总的来说,算法1更好

四、参考

【机器学习】(周志华–西瓜书) 真正例率(TPR)、假正例率(FPR)与查准率(P)、查全率(R)

上一篇:机器学习西瓜书第二章笔记


下一篇:计算机视觉——图像拼接