数据质量和特征分析

数据质量分析:

主要是对异常值的分析:
1、3σ原则:如果数据符合正态分布,那么数据异常定义在一组测定值与平均值的偏差超过3倍标准差的值。在正态分布的假设下,距离平均值3σ之外的值出现的概率为P(|x-μ|>3σ)≤0.003,属于极个别的小概率事件。但面对不服从正态分布的数据,应该怎么办呢?
2、箱型图法:该方法具有很大的鲁棒性:多达25%的数据可以离得非常远而不影响四分位数。异常值被定义为>Q_u+1.5IQR或者在python中,data.describe()方法可获得箱型图法的大部分数据。直接给出样本数据的一些基本统计量,包括均值、标准差、最大值、最小值、分位数等,如下输出。
数据质量和特征分析
其他数据质量分析还包括对缺失值分析、一致性分析。

数据特征分析:

  1. 分布分析:极差分组、频率分布直方图(饼状图)
    统计量分析:平均水平的指标(个体集中趋势):均值、中位数;变异程度(个体离开平均水平度量):标准差(方差)、四分位间距
  2. 周期性分析:周期性规律
  3. 贡献度分析:二八原则—20%的人决定80%的价值
  4. 相关性分析:散点图、计算相关系数
    数据质量和特征分析

数据质量和特征分析


相对于统计函数则简单得多,pandas内部含有计算数据样本的Spearman(pearson)相关系数矩阵的函数corr(),D.corr(method=’pearson’),其中样本D可为DataFrame,返回相关系数矩阵,method参数为计算方法,支持pearson(default)、kendall、spearman。

还包括D.sum()按列求和、D.std()、D.mean()、D.var()方差、D.cov()其中D均可为DataFrame或Series

可视化函数:

主要是matplotlib和pandas函数。
数据质量和特征分析

函数plot:需要注意plt.plot(x,y,S)这是matplotlib里面的,D.plot(kind=’box’)这是pandas里面的,kind还可以为line(线)、bar(条形)、barh、hist(直方图)、box(箱线图)、kde(密度图)、area、pie(饼图)。

函数pie:plt.pie(size) 其中size为所占比例

函数hist:plt.hist(x,y) x为待绘制直方图的一维数组,y可以为整数表示均匀分为n组

其他对于pandas调用均采用D.xxx(),D可为DataFrame或者Series。
上一篇:Linux下套接字详解(六)----基于pthread的多线程的TCP套接字(阻塞/同步/并发)


下一篇:《HTML5开发手册》——第1章 HTML5中新的结构元素 第1章 HTML5中新的结构元素