目录

• 一、问题要求
• 二、概念
• 三、解决问题
• 四、参考

一、问题要求

假如准备招标采购一套宿舍行人目标图像识别系统，选择2家公司的产品来测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。
实验结果如下：

• 算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
• 算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
• 经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。

请问算法1和算法2的“查准率”“查全率”“F1-score”等分别是多少？你认为哪个更优秀？

二、概念

分类结果混淆矩阵:

真实情况	预测结果
	正例	反例
正例	TP（真正例）	FN（假反例）
反例	FP（假正例）	TN（真反例）

• 样本总数：TP+FN+FP+TN
• 查全率：真实正例被预测为正例的比例
  R = T P T P + F N R={TP\over{TP+FN}} R=TP+FNTP​
• 真正例率: 真实正例被预测为正例的比例
  R = T P T P + F P R={TP\over{TP+FP}} R=TP+FPTP​
• F1-score：综合考虑查准率和查全率，用来度量一个模型的好坏。
  F 1 = 2 R P R + P = 2 T P 样 本 总 数 + T P − T N F1= {2RP \over R+P}={2TP \over 样本总数+TP-TN} F1=R+P2RP​=样本总数+TP−TN2TP​

一般情况下，若查准率高，差全率就会偏低；查准率低，查全率就会偏高

三、解决问题

算法一：

真实情况	预测结果
	男	女
男	78	2
女	4	16

• 查准率：P=0.975
• 查全率：R=0.9512
• F1-score：F1=0.963

算法二：

真实情况	预测结果
	男	女
男	80	0
女	8	12

• 查准率：P=1
• 查全率：R=0.91
• F1-score：F1=0.952

对比：

• 1.从查准率来看，算法2优于算法1
• 2.从查全率来看，算法1优于算法2
• 3.从F1来看，算法1优于算法2

总的来说，算法1更好

四、参考

【机器学习】(周志华–西瓜书) 真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）