[数学建模] 数据预处理

在进行数据处理之前,往往需要对数据中一些不完美的地方进行预处理,使得我们能够更好地进行数据的分析计算。


缺失值

一、删除

如果某一项缺失数据过多,剩余的记录可能难以再反映出真实的情况,可以考虑删除该项。

二、均值、众数插补

对于一些对个体精度要求不高的数据,可以考虑将缺失的值用均值/众数填充。
例如:人口数量年龄、经济产业情况。

三、牛顿插值法

通过牛顿插值法公式,构造近似函数。
适合于关注函数精确值而不关系函数变化的数据。
例如:地形测量、热力学温度、定位

推荐参考链接

四、样条插值法

适合数据变化曲线较为光滑的数据。
例如:零件加工、水库流量、物体运动轨迹


异常值

对于异常值,处理方法一般是把该值删除,然后按照缺失值的处理方法进行处理。

那么问题来了,如何判断一个值石佛iu为异常值呢?

一、正态分布

数据大概率处于 ( u − 3 σ , u + 3 σ ) (u - 3σ,u + 3σ) (u−3σ,u+3σ)内,不在此范围的数据大概率为异常值。

PS:仅适用于符合正态分布规律的数据。

二、画箱型图

基本步骤如下:

  1. 吧数据从小到大排序,下四分位Q1为排在25%的数值,上四分位Q3为排在75%的数值。
  2. 四分位距IQR = Q3 - Q1
  3. 划分正常值区间, [ Q 1 − 1.5 + I Q R , Q 3 + 1.5 + I Q R ] [Q_1-1.5+IQR,Q_3+1.5+IQR] [Q1​−1.5+IQR,Q3​+1.5+IQR]。(1.5为习惯取值)

推荐参考链接


参考资料:
参考链接

上一篇:数据变异性的度量 - 极差、IQR、方差和标准偏差


下一篇:通过长变量转换Java的BigInteger