性能度量

对学习器的泛化性能进行评估，不仅要有有效可行的实验估计方法，还要有衡量模型泛化能力的评价标准，这就是性能度量。

以下介绍分类任务中常用性能度量

错误率与精度

在上一篇文章中有提到错误率和精度，以下对其定义：

错误率：

E(f; D) = 

精度：

acc(f; D) =  = 1 - E(f; D)

其中 I( . ) 当 . 为真时取 1， 为假时取 0 。

查准率，查全率与 F1

在有些任务中，错误率和精度并不能完全满足需求，例如在信息检索中，我们关心 “检索出的信息有多少比例是用户感兴趣的” 和 “用户感兴趣的信息有多少被检索出来了”。

对于二分问题，将预测结果进行以下划分：

真正例（TP），假正例（FP），真反例（TN），假反例（FN）

显然 TP + FP + TN + FN = 样例总数

定义：

查准率 P = TP / (TP +FP)

查全率 R = TP / (TP + FN)

P 和 R 互为矛盾度量，即一个高时另一个偏低。

比如挑西瓜，想把所有好瓜挑出来时，就把所有瓜都标记为好瓜，想尽可能准确的挑出好瓜时，则要挑最有把握的瓜。

P-R曲线：

把最可能是正例的样本排前面，把最不可能是正例的样本排后面，按此顺序把样本作为正例逐个预测，则可以计算出当前的查全率和查准率。再以查全率为和坐标，查准率为纵坐标，可以绘制查准率-查全率曲线，简称 P-R曲线。

如上图，A 完全包住了 C，则学习器 A 优于学习器 C， 而对于A , B 则难以判断，通过引入平衡点（BEP）来度量，它是 P = R 时的取值，BEP高的一般认为较优，所以 A 优于 B。

但是BEP还是过于简化了，接下来引入 F1度量。

F1

定义：

F1 = 2 * P * R / (P + R) = 2 * TP / (样例总数 + TP - TN)

有时候我们对 查全率/查准率 有不同的偏好。

例如追查逃犯我们希望尽可能少漏掉逃犯，而推荐商品时我们希望尽可能精准的进行推荐。

于是引出了 F1 的一般形式：Fβ

定义：

Fβ = (1 + β ^ 2) * P * R / (β ^ 2 * P) + R

其中 β > 0

当 β > 1 时，查全率影响更大， β < 1 时，查准率影响更大，当 β = 1 时，则为 F1。

宏F1和微F1

很多时候我们有很多个混淆矩阵，比如进行了多次训练测试，这是我们希望可以综合考察查准率和查全率。

一种做法是计算每个混淆矩阵的 P 和 R，然后取均值，这样就得到了 宏F1,（macro-F1）

定义：

macro-P = 

macro-R = 

macro-F1 = 2 * macro-P * macro-R / (macro-P + macro-R)

还可以现将各混淆元素平均再计算，可得出 微F1（micro-F1）

定义下次补上

ROC 与 AUC

待续。