回归模型评估指标

2021-11-23 04:32:40

SSE(和方差、误差平方和)：The sum of squares dueto error
MSE(均方差、方差)：Meansquared error
RMSE(均方根、标准差)：Root mean squared error
R-square(确定系数)：Coefficientof determination
Adjusted R-square：Degree-of-freedomadjusted coefficient of determination

下面我对以上几个名词进行详细的解释下，相信能给大家带来一定的帮助！！

一、SSE(和方差)

该统计参数计算的是拟合数据和原始数据对应点的误差的平方和，计算公式如下

SSE越接近于0，说明模型选择和拟合更好，数据预测也越成功。接下来的MSE和RMSE因为和SSE是同出一宗，所以效果一样

二、MSE(均方差)

该统计参数是预测数据和原始数据对应点误差的平方和的均值，也就是SSE/n，和SSE没有太大的区别，计算公式如下

三、RMSE(均方根)

该统计参数，也叫回归系统的拟合标准差，是MSE的平方根，就算公式如下

在这之前，我们所有的误差参数都是基于预测值(y_hat)和原始值(y)之间的误差(即点对点)。从下面开始是所有的误差都是相对原始数据平均值(y_ba)而展开的(即点对全)!!!

RMSE和MAE的比较
量纲一样：都是原始数据中y对应的量纲
RMSE > MAE：
这是一个数学规律，一组正数的平均数的平方，小于每个数的平方和的平均数；

四、R-square(确定系数)

在讲确定系数之前，我们需要介绍另外两个参数SSR和SST，因为确定系数就是由它们两个决定的
(1)SSR：Sumof squares of the regression，即预测数据与原始数据均值之差的平方和，公式如下

(2)SST：Totalsum of squares，即原始数据和均值之差的平方和，公式如下

SST=SSE+SSR，

最好的衡量线性回归法的指标：R Squared
准确度：[0, 1]，即使分类的问题不同，也可以比较模型应用在不同问题上所体现的优劣；

RMSE和MAE有局限性：同一个算法模型，解决不同的问题，不能体现此模型针对不同问题所表现的优劣。因为不同实际应用中，数据的量纲不同，无法直接比较预测值，因此无法判断模型更适合预测哪个问题。
方案：将预测结果转换为准确度，结果都在[0, 1]之间，针对不同问题的预测准确度，可以比较并来判断此模型更适合预测哪个问题；

1.计算方法

2.对公式的理解

公式
样式与MSE类似，可以理解为一个预测模型，只是该模型与x无关，在机器学习领域称这种模型为基准模型（Baseline Model），适用于所有的线型回归算法；
基准模型问题：因为其没有考虑x的取值，只是很生硬的以为所有的预测样本，其预测结果都是样本均值
A）因此对公式可以这样理解：
分子是我们的模型预测产生的错误，分母是使用y等于y的均值这个模型所产生的错误
自己的模型预测产生的错误 / 基础模型预测生产的错误，表示自己的模型没有拟合住的数据，因此R2可以理解为，自己的模型拟合住的数据
B）公式推理结论：
R2 <= 1
R2越大越好，当自己的预测模型不犯任何错误时：R2 = 1
当我们的模型等于基准模型时：R2 = 0
如果R2 < 0，说明学习到的模型还不如基准模型。 # 注：很可能数据不存在任何线性关系

3. 公式变形

R2背后具有其它统计意思

码农公寓