pandas_profiling 探索性数据分析(EDA)工具

网上看到一个做EDA非常方便的模块pandas_profiling,使用该函数可以快速了解我们的数据构成以及分布,下面看看具体的实现

import seaborn as sns
import pandas as pd
import pandas_profiling
import matplotlib.pyplot as plt

#波士顿房价数据集
from  sklearn.datasets import load_boston
import pandas as pd
boston=load_boston()
boston.data
boston.target
boston.feature_names
df=pd.DataFrame(boston.data,columns=boston.feature_names)

pandas_profiling.ProfileReport(df)

但是要注意最后一行代码运行时间可能有点久,需要耐心等待

报告的一共有6点,如下图

 

pandas_profiling 探索性数据分析(EDA)工具

第一点,总概述,包括shape,missing,内存,类别型变量和数值型变量的个数,重复行列

pandas_profiling 探索性数据分析(EDA)工具

 

 第二点,对每个变量进行描述性统计,可视化展示,这次只截图一个变量,其他的就不放上来了

 pandas_profiling 探索性数据分析(EDA)工具

 

 

 第三点,双变量分析,通过画图,可看出两个变量之间的关系

pandas_profiling 探索性数据分析(EDA)工具

 

 第四点,相关性地热图,有几种相关性的统计量可以选择,皮尔逊和斯皮尔逊等等,点击有上方的还可以出现每个统计量指标的说明,很贴心了

pandas_profiling 探索性数据分析(EDA)工具

 

 pandas_profiling 探索性数据分析(EDA)工具

 

 第五点,变量的缺失值,这个就没有啥好解释的了

pandas_profiling 探索性数据分析(EDA)工具

 

 第六点,样本前面几行和后面几行的展示

pandas_profiling 探索性数据分析(EDA)工具

 

 pandas_profiling 探索性数据分析(EDA)工具

 

 总结一下:

该工具方便我们快速了解数据构成,我们主要注意前面5点即可,但是并不是说使用该工具就完成了EDA步骤,我们想要挖掘更多信息,害得深入去研究数据

 

上一篇:group by的一些优化方案


下一篇:[xctf]ics-05伪协议读取源码&&preg_replace() /e漏洞命令执行