机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)

一、Precision - Recall 的平衡

 1)基础理论

  • 调整阈值的大小,可以调节精准率和召回率的比重
  1. 阈值:threshold,分类边界值,score > threshold 时分类为 1,score < threshold 时分类为 0;
  2. 阈值增大,精准率提高,召回率降低;阈值减小,精准率降低,召回率提高;
  • 精准率和召回率是相互牵制,互相矛盾的两个变量,不能同时增高;
  • 逻辑回归的决策边界不一定非是 机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线),也可以是任意的值,可根据业务而定:机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线),大于 threshold 时分类为 1,小于 threshold 时分类为 0;
  • 推广到其它算法,先计算出一个分数值 score ,再与 threshold 比较做分类判定;

 2)举例说明精准率和召回率相互制约的关系(一)

  • 计算结果 score > 0 时,分类结果为 ★;score < 0 时,分类结果为 ●;
  • ★ 类型为所关注的事件;
  • 情景1:threshold = 0

  • 机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)
  1. 精准率:4 / 5 = 0.80;
  2. 召回率:4 / 6 = 0.67;
  • 情景2:threshold  > 0;

  • 机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)
  1. 精准率:2 / 2 = 1.00;
  2. 召回率:2 / 6 = 0.33;
  • 情景3:threshold < 0;

  • 机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)
  1. 精准率:6 / 8 = 0.75;
  2. 召回率:6 / 6 = 1.00;

 3)举例说明精准率和召回率相互制约的关系(二)

  • LogisticRegression() 类中的 predict() 方法中,默认阈值 threshold 为 0,再根据 decision_function() 方法计算的待预测样本的 score 值进行对比分类:score < 0 分类结果为 0,score > 0 分类结果为 1;
  • log_reg.decision_function(X_test):计算所有待预测样本的 score 值,以向量的数量类型返回结果;
  1. 此处的 score 值不是概率值,是另一种判断分类的方式中样本的得分,根据样本的得分对样本进行分类;
  • import numpy as np
    from sklearn import datasets digits = datasets.load_digits()
    X = digits.data
    y = digits.target.copy()
    y[digits.target==9] = 1
    y[digits.target!=9] = 0 from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666) from sklearn.linear_model import LogisticRegression
    log_reg = LogisticRegression()
    log_reg.fit(X_train, y_train)
  1. 阈值 threshold = 0
    y_predict_1 = log_reg.predict(X_test)
    
    from sklearn.metrics import confusion_matrix
    confusion_matrix(y_test, y_predict_1)
    # 混淆矩阵:array([[403, 2],
    [9, 36]], dtype=int64) from sklearn.metrics import precision_score
    precision_score(y_test, y_predict_1)
    # 精准率:0.9473684210526315 from sklearn.metrics import recall_score
    recall_score(y_test, y_predict_1)
    # 召回率:0.8
  2. 阈值 threshold = 5
    decision_score = log_reg.decision_function(X_test)
    
    # 更改 decision_score ,经过向量变化得到新的预测结果 y_predict_2;
    # decision_score > 5,增大阈值为 5;(也就是提高判断标准)
    y_predict_2 = np.array(decision_score >= 5, dtype='int') confusion_matrix(y_test, y_predict_2)
    # 混淆矩阵:array([[404, 1],
    [ 21, 24]], dtype=int64) precision_score(y_test, y_predict_2)
    # 精准率:0.96 recall_score(y_test, y_predict_2)
    # 召回率:0.5333333333333333

    # 更改阈值的思路基于 decision_function() 方法,改变 score 值,简介更阈值,不再经过 predict() 方法,而是经过向量变化得到新的分类结果;

  3. 阈值 threshold = -5
    decision_score = log_reg.decision_function(X_test)
    y_predict_3 = np.array(decision_score >= -5, dtype='int') confusion_matrix(y_test, y_predict_3)
    # 混淆矩阵:array([[390, 15],
    [5, 40]], dtype=int64) precision_score(y_test, y_predict_3)
    # 精准率:0.7272727272727273 recall_score(y_test, y_predict_3)
    # 召回率:0.8888888888888888
  • 分析:

  1. 精准率和召回率相互牵制,相互平衡的,一个升高,另一个就会降低;
  2. 阈值越大,精准率越高,召回率越低;阈值越小,精准率越低,召回率越高;
  3. 更改阈值:1)通过 LogisticRegression() 模块下的 decision_function() 方法得到预测得分;2)不使用 predict() 方法,而是重新设定阈值,通过向量转化,直接根据预测得分进行样本分类;

二、精准率 - 召回率曲线(P - R 曲线)

  • 对应分类算法,都可以调用其 decision_function() 方法,得到算法对每一个样本的决策的分数值;
  • LogisticRegression() 算法中,默认的决策边界阈值为 0,样本的分数值大于 0,该样本分类为 1;样本的分数值小于 0,该样本分类为 0。
  • 思路:随着阈值 threshold 的变化,精准率和召回率跟着相应变化;
  1. 设置不同的 threshold 值:
    decision_scores = log_reg.decision_function(X_test)
    thresholds = np.arange(np.min(decision_scores), np.max(decision_scores), 0.1)

    # 0.1 是区间取值的步长;

 1)编码实现 threshold - Precision、Recall 曲线和 P - R曲线

  • import numpy as np
    import matplotlib.pyplot as plt
    from sklearn import datasets digits = datasets.load_digits()
    X = digits.data
    y = digits.target.copy()
    y[digits.target==9] = 1
    y[digits.target!=9] = 0 from sklearn.model_selection import train_test_split
    X_train, X_test, y_train, y_test = train_test_split(X, y, random_state=666) from sklearn.linear_model import LogisticRegression
    log_reg = LogisticRegression()
    log_reg.fit(X_train, y_train)
    decision_scores = log_reg.decision_function(X_test) from sklearn.metrics import precision_score
    from sklearn.metrics import recall_score precisions = []
    recalls = []
    thresholds = np.arange(np.min(decision_scores), np.max(decision_scores), 0.1) for threshold in thresholds:
    y_predict = np.array(decision_scores >= threshold, dtype='int')
    precisions.append(precision_score(y_test, y_predict))
    recalls.append(recall_score(y_test, y_predict))
  • threshold - Precision、Recall 曲线

    plt.plot(thresholds, precisions)
    plt.plot(thresholds, recalls)
    plt.show()

    机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)

  • P - R 曲线

    plt.plot(precisions, recalls)
    plt.show()

    机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)

 2)scikit-learn 中 precision_recall_curve() 方法

  • 根据 y_test、y_predicts 直接求解 precisions、recalls、thresholds;
    from sklearn.metrics import precision_recall_curve
  • from sklearn.metrics import precision_recall_curve
    
    precisions, recalls, thresholds = precision_recall_curve(y_test, decision_scores)
    
    precisions.shape
    # (145,) recalls.shape
    # (145,) thresholds.shape
    # (144,)
  1. 现象:thresholds 中的元素个数,比 precisions 和recalls 中的元素个数少 1 个;
  2. 原因:当 precision = 1、recall = 0 时,不存在 threshold;
  • threshold - Precision、Recall 曲线

    plt.plot(thresholds, precisions[:-1])
    plt.plot(thresholds, recalls[:-1])
    plt.show()

    机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)

  • P - R 曲线

    plt.plot(precisions, recalls)
    plt.show()

    机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)

  1. 途中曲线开始急剧下降的点,可能就是精准率和召回率平衡位置的点;

 3)分析

  • 不同的模型对应的不同的 Precision - Recall 曲线:
  • 机器学习:评价分类结果(Precision - Recall 的平衡、P - R 曲线)
  1. 外层曲线对应的模型更优;或者称与坐标轴一起包围的面积越大者越优。
  2. P - R 曲线也可以作为选择算法、模型、超参数的指标;但一般不适用此曲线,而是使用 ROC 曲线;
上一篇:Java数据结构——平衡二叉树的平衡因子(转自牛客网)


下一篇:【C++ Primer Plus】编程练习答案——第9章