利用Python进行数据分析 第7章 数据清洗和准备(1)

学习时间:2019/10/25 周五晚上22点半开始。

学习目标:Page188-Page217,共30页,目标6天学完,每天5页,预期1029学完。

实际反馈:集中学习1.5小时,学习6页;集中学习1.7小时(100分钟),学习5页;

     实际20191103学完,因本周工作耽误未进行学习,耗时5天,10小时,平均每页20分钟。

数据准备工作:加载、清理、转换以及重塑,通常会占用分析师80%的时间或更多!!!学会高效的数据清洗和准备,将绝对提升生产力!本章将讨论处理缺失数据、重复数据、字符串操作和其他分析数据转换的工具。下一章将关注用多种方法合并、重塑数据集。

7.1 处理缺失数据

缺失数据在pandas中呈现的方式有些不完美,但对于大多数用户可以保证功能正常。

对于数值数据,pandas使用浮点值NaN(Not a Number)表示缺失数据。称其为哨兵值,可以方便地检测出来:

利用Python进行数据分析 第7章 数据清洗和准备(1)

在pandas中,将缺失值表示为NA(R语言地惯用法),表示not available。NA数据可能是不存在地数据或虽然存在但没有观察到。(进行数据清洗时,为便于分析最好直接对缺失数据进行分析,以判断数据采集地问题或缺失胡数据可能导致的偏差。)

Python内置的None值在对象数据中也可以作为NA:

利用Python进行数据分析 第7章 数据清洗和准备(1)

表7-1 一些关于缺失数据处理的函数

利用Python进行数据分析 第7章 数据清洗和准备(1)

 7.1.1 滤除缺失数据

过滤缺失数据,用dropna更为实用(也可通过pandas.isnull或布尔索引的手工方法)

对于Series,dropna返回一个仅含非空数据和索引值的Series:

利用Python进行数据分析 第7章 数据清洗和准备(1)

等价于:

利用Python进行数据分析 第7章 数据清洗和准备(1)

对于DataFrame对象, dropna默认丢弃任何含有缺失值的行:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  1)传入 how = 'all' 将只丢弃全为NA的行:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

  2)传入 axis = 1,将丢弃含有NA的所有列,如果同时传入 how = 'all' 则会丢弃全为NA的列:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

  3)另一个滤除DataFrame行的问题涉及时间序列数据。假设需要留下一部分观测数据,可用 thresh=N 参数实现此目的(丢弃前N行含有NA的行,对于列如何处理???):

  利用Python进行数据分析 第7章 数据清洗和准备(1)

7.1.2 填充缺失数据

如果不想滤除缺失数据,而是希望通过其他方式填补哪些缺失数据,则fillna方法是最主要的函数。通过一个常数调用fillna就会将缺失值替换为该常数:

利用Python进行数据分析 第7章 数据清洗和准备(1)

通过一个字典调用fillna,可实现对不同列填充不同的值:

利用Python进行数据分析 第7章 数据清洗和准备(1)

fillna默认会返回新对象,如果想对现有对象进行就地修改,则可以通过传入 inplace = True实现:

利用Python进行数据分析 第7章 数据清洗和准备(1)

对reindex(书中为reindexing,是否有误?)有效的插值方法,同样适用于fillna:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:还可以创新的用fillna实现许多别的功能,比如,传入Series的平均值或中位数:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

  注意:在使用NA之前,一定要先从numpy中导入nan命名为NA

表7-2 fillna的参考

利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2 数据转换

本章截至目前,均介绍的是数据的重排。另一类重要操作则是过滤、清理以及其他的转换工作。

7.2.1 移除重复数据

DataFrame中出现重复行

利用Python进行数据分析 第7章 数据清洗和准备(1)

DataFrame的duplicated方法返回一个布尔类型Series,表示各行是否是重复行(前面出现过的行):

利用Python进行数据分析 第7章 数据清洗和准备(1)

DataFrame的drop_duplicates方法,则会返回一个DataFrame:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:上述两个方法,默认会判断全部列,也可以制定部分列进行重复判断。

若只希望根据指定列进行过滤重复项的操作:

利用Python进行数据分析 第7章 数据清洗和准备(1)

duplicated和drop_duplicates默认保留的是第一个出现的值的组合。传入keep='last'则保留最后一个:

利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2.2 利用函数或映射进行数据转换

对许多数据集,可能希望根据数组、Series或DataFrame列中的值来实现转换工作。如下数据:

利用Python进行数据分析 第7章 数据清洗和准备(1)

若希望添加一列表示该肉类食物的动物类型,现有如下不同肉类到动物的映射:

利用Python进行数据分析 第7章 数据清洗和准备(1)

Series的map方法可以接受一个函数或含有映射关系的字典型对象。

先将数据中的大写转换为小写,可以使用Series的str.lower方法。

利用Python进行数据分析 第7章 数据清洗和准备(1)

也可以传入一个能够完成全部这些工作的函数:

利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2.3 替换值

利用fillna方法填充缺失数据,可以看成是值替换的一种特殊情况。

map可用于修改对象的数据子集,而replace提供了一种实现值替换功能更简单、更灵活的方式。

对于Series:

利用Python进行数据分析 第7章 数据清洗和准备(1)

-999可能是一个表示缺失数据的标记值。需要将其替换为pandas能够理解的NA值,则可用replace来产生一个新的Series(除非传入inplace=True进行就地修改,否则生产将新的Series):

利用Python进行数据分析 第7章 数据清洗和准备(1)

如果希望一次性替换多个值,可传入一个由待替换值组成的列表以及一个替换值:

利用Python进行数据分析 第7章 数据清洗和准备(1)

如要让每个值有不同的替换值,可传入一个替换值列表:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:传入的参数也可以是字典:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

注意:data.replace方法与data.str.replace不同,后者做的是字符串的元素级替换。

7.2.4 重命名轴索引 - DataFrame

跟Series中的值一样,DataFrame轴标签也可以通过函数或映射进行转换,从而得到一个新的不同标签的对象。轴也也可以被就地修改,而无需新键一个数据结构。看例子:

利用Python进行数据分析 第7章 数据清洗和准备(1)

跟Series一样,轴索引也有一个map方法:

利用Python进行数据分析 第7章 数据清洗和准备(1)

将其赋值给index,就可以对DataFrame进行就地修改:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:特别说明,rename可以结合字典型对象实现对部分轴标签的更新:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

  rename可以实现赋值DataFrame并对其索引和列标签进行赋值。如果希望就地修改某个数据库,传入inplace=True即可:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2.5 离散化和面元划分

为便于分析,连续数据常被离散化或拆分为“面元”(bin)。

假设有一组人员数据,希望将他们划分为不同的年龄组:

利用Python进行数据分析 第7章 数据清洗和准备(1)

1)将这些数据划分为“18-25”、“26-35”、“36-60”及“60以上”几个面元。可以使用pandas的cut函数实现:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  pandas返回的是一个特殊的Categories对象,结果展示了pandas.cut划分的面元。可将其看做一组表示面元名称的字符串。它的底层含有一个表示不同分类名称的类型数组,以及一个codes属性中的年龄数据的标签:

  利用Python进行数据分析 第7章 数据清洗和准备(1)

  pd.value_counts(cats)是pandas.cut结果的面元计数。

2)跟“区间”的数学符合一样,圆括号表示开端,而方括号则表示闭端(包括)。哪边是闭端可以通过right=False进行修改:

利用Python进行数据分析 第7章 数据清洗和准备(1)

可以通过传递一个列表或数组到lables,设置自己的面元名称:

利用Python进行数据分析 第7章 数据清洗和准备(1)

3)如果向cut传入的是面元的数量而不是确切的面元边界,则它会根据数据的最小值和最大值计算等长面元。

如,下面的例子,将一些均匀分布的数据分成四组:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:其中percision = 2,用于限定小数只取两位

4)qcut是一个非常类似于cut的函数,可以根据样本分位数对数据进行面元划分。

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:于cut类似,也可传递自定义的分位数(0到1之间的数值,包含端点):

  利用Python进行数据分析 第7章 数据清洗和准备(1)

本章稍后讲解聚合和分组运算时会再次用到cut和qcut,因为这两个离散化函数对分为和分组分析非常重要。

7.2.6 检测和过滤异常值

过滤或变换异常值(outlier)在很大程度上就是运用数组运算。

看一个含有正态分布数据的DataFrame:

利用Python进行数据分析 第7章 数据清洗和准备(1)

1)假设你想要找出某列中绝对值大小超过3的值:

利用Python进行数据分析 第7章 数据清洗和准备(1)

2)要选出全部含有“超过3或-3的值”的行,可在布尔型DataFrame中使用any方法:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:关于any函数,参考布尔型数组方法:https://www.cnblogs.com/ElonJiang/p/11624310.html

https://pandas.pydata.org/pandas-docs/stable/reference/api/pandas.DataFrame.any.html

3)对值进行设置

下面的代码可将值限制在区间-3到3以内:

利用Python进行数据分析 第7章 数据清洗和准备(1)

根据数值的值是正还是负,np.sign(data)可以生成1和-1:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:sign()是Python的Numpy中的取数字符号(数字前的正负号)的函数

  利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2.7 排列和随机采样

利用numpy.random.permutation函数可以轻松实现对Series或DataFrame的列的排列工作(permuting,随机重排序)。通过需要排列的轴的长度调用permutation,可产生一个表示新顺序的整数数组:

利用Python进行数据分析 第7章 数据清洗和准备(1)

然后可以在基于iloc的索引操作或take函数中使用该数组:

利用Python进行数据分析 第7章 数据清洗和准备(1)

如果不想要替换的方式选取随机子集,可在Series和DataFrame上使用sample方法:

利用Python进行数据分析 第7章 数据清洗和准备(1)

要通过替换的方式产生样本(允许重复选择),可传递replace=True到sample:

利用Python进行数据分析 第7章 数据清洗和准备(1)

7.2.8 计算指标/哑变量

一种常用于统计建模或机器学习的转换方式:将分类变量(ategorical variable)转换薇“哑变量”或“指标矩阵”。

如果DataFrame的某一列中含有k个不同的值,则可派生出一个k列矩阵或DataFrame(其值全为1和0).

pandas有一个get_dummies函数可以实现该功能。使用如下例子:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:get_dumpmies方法,实现的是:对指定列中的所有不同值(去重后)在每一行中进行检索计数,有值则为‘1’,无值则为‘0’。故,派生得到的新DataFrame,其行数同原始DataFrame,其列数则有指定的列中不同值个数决定。

若想给指标DataFrame的列加上一个前缀,以便能够跟其他数据进行合并。则可使用get_dummies的prefix参数实现:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:这块的df_with_dunmy操作,未搞明白???

电影数据处理例子,暂无数据,暂不学习

统计应用的一个实用秘诀:结合get_dummies和诸如cut之类的离散化函数:

利用Python进行数据分析 第7章 数据清洗和准备(1)

  Ps:本例中使用np.random.seed,是为了使例子具有确定性。

    np.random.seed()函数可以保证生成的随机数具有可预测性。可以使多次生成的随机数相同:

    1.如果使用相同的seed( )值,则每次生成的随即数都相同;

    2.如果不设置这个值,则系统根据时间来自己选择这个值,此时每次生成的随机数因时间差异而不同。

  在机器学习和深度学习中,如果要保证部分参数(比如W权重参数)的随机初始化值相同,可以采用这种方式来实现。

上一篇:< 利用Python进行数据分析 - 第2版 > 第五章 pandas入门 读书笔记


下一篇:【python数据分析实战】电影票房数据分析(一)数据采集