带带菜菜吧

EDA 目标

• EDA的价值主要在于熟悉数据集，了解数据集，对数据集进行验证来确定所获得数据集可以用于接下来的机器学习或者深度学习使用。
• 当了解了数据集之后我们下一步就是要去了解变量间的相互关系以及变量与预测值之间的存在关系。
• 引导数据科学从业者进行数据处理以及特征工程的步骤,使数据集的结构和特征集让接下来的预测问题更加可靠。
• 完成对于数据的探索性分析，并对于数据进行一些图表或者文字总结并打卡。

内容介绍

1. 载入各种数据科学以及可视化库:
   • 数据科学库 pandas、numpy、scipy；
   • 可视化库 matplotlib、seabon；
2. 载入数据：
   • 载入训练集和测试集；
   • 简略观察数据(head()+shape)；
3. 数据总览:
   • 通过describe()来熟悉数据的相关统计量
   • 通过info()来熟悉数据类型
4. 判断数据缺失和异常
   • 查看每列的存在nan情况
   • 异常值检测
5. 了解预测值的分布
   • 总体分布概况
   • 查看skewness and kurtosis
   • 查看预测值的具体频数

 

个人总结：在数据集读入后，复制给变量，如train。

我们可以通过:

 

train.shape	查看数据的行列信息
train.head()	观看首数据
train.head().append(train.tail())	观看首尾数据
train.describe()	获取数据的相关统计量
train.info()	获取数据类型
train.isnull().sum()	查看每列的缺失数量

 

以上是简单的命令了解数据，还可以通过工具包pandas_profiling生成数据报告 ，更直观观看数据特点。

import pandas_profiling
pfr = pandas_profiling.ProfileReport(data_train)
pfr.to_file("./example.html")