缺失数据（missing data）大部分数据分析应用中非常常见。pd设计目标之一就是让缺失数据的处理任务尽量轻松。
pd 使用浮点值NaN(Not a Number) 表示浮点和非浮点数组中的缺失数据。是一个被检测出来的标识
import pandas as pd
import numpy as np
string_data = pd.Series(['aardvark', 'artichoke', np.nan, 'avocado'])
string_data
string_data.isnull() #内置的None值也会被当作Na处理
string_data[0] = None
string_data.isnull() Out[180]:
0 True
1 False
2 True
3 False
dtype: bool
Na处理方法
"""
=====Na处理方法=========
dropna 根据各标签的值中是否存在缺失数据对轴标签进行过滤，可通过阀值调节对缺失值的容忍度
fillna 用指定值或插值方法填充缺失数据
isnull 返回一个含有布尔值的对象，这些布尔值表示哪些值是缺失值，该对象的类型与源类型一样
notnull isnull的否定式
"""
1、 滤除缺失数据
#dropna 返回一个仅含非空数据和索引值的Series from numpy import nan as NA
data = pd.Series([1, NA, 3.5, NA, 7])
data.dropna() Out[183]:
0 1.0
2 3.5
4 7.0
dtype: float64 #也可以通过布尔型索引达到这个目标
data[data.notnull()]
#对于dataFrame,dropna默认丢弃任何含有缺失值的行
data = pd.DataFrame([[1., 6.5, 3], [1., NA, NA], [NA, NA, NA], [NA, 6.5, 3]])
cleaned = data.dropna()
data
Out[187]:
0 1 2
0 1.0 6.5 3.0
1 1.0 NaN NaN
2 NaN NaN NaN
3 NaN 6.5 3.0
cleaned
Out[188]:
0 1 2
0 1.0 6.5 3.0
data.dropna(how = 'all')
Out[189]:
0 1 2
0 1.0 6.5 3.0
1 1.0 NaN NaN
3 NaN 6.5 3.0
只用这种方式丢弃列，只需传入axis =1 即可
#只用这种方式丢弃列，只需传入axis =1 即可
data[4] = NA
data
data.dropna(axis = 1, how = 'all')
另一个滤除DF的行问题涉及时间序列数据，假设你只想留下一部分预测数据，可以用thresh参数实现些目的
df = pd.DataFrame(np.random.randn(7, 3))
df
df.ix[:4, 1] = NA; df.ix[:2, 2] = NA
Out[195]:
0 1 2
0 -1.391379 NaN NaN
1 0.283693 NaN NaN
2 -1.256739 NaN NaN
3 -0.279809 NaN 0.511898
4 -2.942845 NaN -0.938693
5 1.478454 -1.869872 -1.815566
6 -1.001717 -0.074136 -1.132250
df.dropna(thresh = 3)
Out[196]:
0 1 2
5 1.478454 -1.869872 -1.815566
6 -1.001717 -0.074136 -1.132250
2、 填充缺失 数据
fillna方法是最主要的函数，通过一个常数调用fillna就会将缺失值替换为那个常数值
df.fillna(0)
Out[197]:
0 1 2
0 -1.391379 0.000000 0.000000
1 0.283693 0.000000 0.000000
2 -1.256739 0.000000 0.000000
3 -0.279809 0.000000 0.511898
4 -2.942845 0.000000 -0.938693
5 1.478454 -1.869872 -1.815566
6 -1.001717 -0.074136 -1.132250
#若是通过一个字典调用fillna, 就可以实现对不同的列填充不同的值
df.fillna({1: 0.5, 3: -1})
Out[198]:
0 1 2
0 -1.391379 0.500000 NaN
1 0.283693 0.500000 NaN
2 -1.256739 0.500000 NaN
3 -0.279809 0.500000 0.511898
4 -2.942845 0.500000 -0.938693
5 1.478454 -1.869872 -1.815566
6 -1.001717 -0.074136 -1.132250
#fillna默认会返回新对象，但也可以对现有对象进行就地修改
#总是返回被填充对象的引用
_ = df.fillna(0, inplace = True)
df
Out[200]:
0 1 2
0 -1.391379 0.000000 0.000000
1 0.283693 0.000000 0.000000
2 -1.256739 0.000000 0.000000
3 -0.279809 0.000000 0.511898
4 -2.942845 0.000000 -0.938693
5 1.478454 -1.869872 -1.815566
6 -1.001717 -0.074136 -1.132250
对reindex有效的那些插值方法也可用于fillna
df = pd.DataFrame(np.random.randn(6, 3))
df.ix[2:, 1] = NA; df.ix[4:, 2] = NA
df Out[204]:
0 1 2
0 1.498980 -0.048566 1.406554
1 1.143778 -0.370818 1.333525
2 -2.557671 NaN 0.419188
3 -0.648393 NaN -0.159103
4 0.794345 NaN NaN
5 1.814522 NaN NaN
#ffill 向前填充值
#bfill 向后填充值
df.fillna(method = 'ffill') Out[205]:
0 1 2
0 1.498980 -0.048566 1.406554
1 1.143778 -0.370818 1.333525
2 -2.557671 -0.370818 0.419188
3 -0.648393 -0.370818 -0.159103
4 0.794345 -0.370818 -0.159103
5 1.814522 -0.370818 -0.159103
#可填充最大标识量为2
df.fillna(method = 'ffill', limit =2) Out[206]:
0 1 2
0 1.498980 -0.048566 1.406554
1 1.143778 -0.370818 1.333525
2 -2.557671 -0.370818 0.419188
3 -0.648393 -0.370818 -0.159103
4 0.794345 NaN -0.159103
5 1.814522 NaN -0.159103
#均值或中位数填充
data = pd.Series([1., NA, 3.5, NA, 7])
data
data.fillna(data.mean()) Out[215]:
0 1.000000
1 3.833333
2 3.500000
3 3.833333
4 7.000000
dtype: float64
"""
=====fillna函数的参数======
value 用于填充缺失值的标量值或字典对象
method 插值方式，如果函数调用时未指定其他参数的话，默认为ffill
axis 待填充的轴，默认axis = 0
inplace 修改调用者对象而不产生副本，True为就地修改
limit (对于前向和后台填充)可以连续填充的最大数量
"""