1,函数应用
①map()
将函数作用于一个Series的每一个函数(不能是DataFrame)
类似于Python的高阶函数map()
函数可以是Numpy中的通用函数,也可以是自定义函数
优点:代码简介,效率高,不用循环
import pandas as pd
import numpy as np
l = range(10)
ser = pd.Series(l)
ser
>>>
ser
Out[46]:
0 0
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
dtype: int64 ser.map(np.sqrt) >>>> Out[47]:
0 0.000000
1 1.000000
2 1.414214
3 1.732051
4 2.000000
5 2.236068
6 2.449490
7 2.645751
8 2.828427
9 3.000000
dtype: float64
# 自定义函数
ser.map(lambda x: x**2 + 1)
Out[48]:
0 1
1 2
2 5
3 10
4 17
5 26
6 37
7 50
8 65
9 82
dtype: int64
def func(x):
x1 = x**3
x2 = x1 +2 +7
return x2 ser.map(func) >>> Out[50]:
0 9
1 10
2 17
3 36
4 73
5 134
6 225
7 352
8 521
9 738
dtype: int64
自定义函数传的是函数名
②apply和applymap
通过apply()将函数应用到行或者列上面
在DataFrame上操作时注意需要指定轴的方向,默认axis=0
通过applymap()将函数应用到每一个数据上,和apply()是有区别的,applymap()只能作用于DataFrame
举个例子:
df = pd.DataFrame(np.arange(10).reshape(5, 2), columns=['col_1', 'col_2'])
df >>>
Out[54]:
col_1 col_2
0 0 1
1 2 3
2 4 5
3 6 7
4 8 9 df.apply(np.sum) >>>
Out[55]:
col_1 20
col_2 25
dtype: int64
这个地方容易混,横向是移动到下一个横向计算
df.apply(np.sum, axis=1) >>> Out[56]:
0 1
1 5
2 9
3 13
4 17
dtype: int64
df.applymap(np.sqrt)
>>> Out[57]:
col_1 col_2
0 0.000000 1.000000
1 1.414214 1.732051
2 2.000000 2.236068
3 2.449490 2.645751
4 2.828427 3.000000
2,层级索引
我们知道设置索引列是用set_index('data')
那设置多个索引列:set_index(['a', 'b'], inplace=True) 需要注意a和b的先后顺序;这样要先访问a后访问b才可以得到数据
选取子集:
外层选取 loc['outer_index']
内层选取 loc['out_index', ‘inner_index’]
交换层级顺序swaplevel()(类似于将b提到a前面)
层级索引的排序sort_index(level=)(level可以加也可以不加,不加的话默认是先排序外侧,再排内侧)
常用语分组操作、透视表的生成
如上图:外层索引是bar,内层索引是one,two
如果直接访问bar的话,就会拿到2行
3,pandas的分组与聚合
分组:对数据集进行分组,然后对每一组进行统计分析
pandas能够使用groupby进行更加复杂的分组统计
分组的运算过程 split--》apply--》combine
拆分:进行分组的根据
应用:每一个分组运行的计算规则
合并:把每个分组的计算结果合并起来
聚合:数组产生标量的过程,如mean()、count()等
常用于对分组之后的数据进行计算
内置的聚合函数:sum(), mean(),max(),min(),count()
按照单列分组,obj.groupby('label')
按照多列分组,obj.groupby(['label'],['label2'])--》多层DataFrame(先按照label1分组,再按照label2分组)
groupby()操作后产生GroupBy对象:DataFrameGroupBy,SeriesGroupBy
GroupBy对象没有实际运算,只是包含分组的中间数据
对GroupBy对象进行分组聚合操作
常见的聚合操作:mean(),sum(),size(),count()
对非数值数据不进行分组运算
4,自定义分组和自定义聚合操作
(1) 自定义分组:
①groupby()支持传入自定义的函数进行分组,操作针对的是索引,所以要设置set_index
②可以通过自定义函数构造一个分组列,然后根据分组列进行groupby
(2) 自定义聚合操作:
①使用agg()函数
②传入包含多个函数的列表,可同时完成多个聚合操作
③可通过字典为每个列指定不同的操作方法
④传入自定义函数
# 自定义的分组规则
def get_score_group(score):
if score <=4:
score_group = 'low'
elif score<=6:
score_group = 'middle'
else:
score_group = 'high'
return score_group
# 方法1:传入自定义函数进行分组按照单列分组
data2 = data.set_index('Happiness Score') # 先要设置为索引
data2.groupby(get_score_group).size() # 方法2:
data2.groupby('Region').apply(get_score_group)
# 传入包含多个函数的列表
data2.groupby('Region').['Happiness Score'].agg([np.max, np.min])
# 通过字典为每一个列指定不同的操作方式
data2.groupby('Region').agg({'Happiness Score': np.mean, 'Happiness Rank': np.min})
def max_min_diff(x): # x是每个 分组的数据
return x.max()-x.min() data.groupby('Region')['Happiness Rank'].agg(max_min_diff)
5,透视表
简介:
是将‘扁平’的表转换为‘立体’表的过程
扁平?只包括行和列
立体包含行,列和值
透视表(pivot table)操作
①df.pivot_table(values, index,columns,aggfunc, margins)
②values:透视表中的元素值(根据聚合函数得出的)
③index:透视表中的行索引(列名)
④columns:透视表的列索引(列名)
⑤aggfunc:聚合函数,可以指定多个(默认是求均值)
⑥margins:表示是否对所有数据进行统计(默认是求均值)
df.pivot_table(values='Score', index='Semester', columns='Subject')
df.pivot_table(values='Score', index='Semester', columns='Subject', aggfunc=np.mean)
结果是一样的
df.pivot_table(values='Score', index='Semester', columns='Subject', margin=True)
要注意的是aggfunc是什么操作,那么margin=True参数就是代表什么
df.pivot_table(values='Score', index='Semester', columns='Subject', aggfunc=['mean', 'max', 'min'])
当然透视表也是支持层级索引的
5,数据规整
(一)数据合并concat
①按照指定的轴方向对多个数据对象进行数据合并
②pd.concat(objs, axis)
1, objs:多个数据对象,如包含DataFrame的列表
2,axis:0按照索引方向(纵向), 1按列方向(横向)
③注意,默认使用outer join进行合并
对应的
(二)数据合并merge
①根据单个或多个键将不同DataFrame的行连接起来(这个键就是列名)
②默认将重叠列的列名作为外键进行连接
1,on显示指定外键
2,left_on,左侧数据的外键
3,right_on,右侧数据的外键
③连接方式:
1,参数how指定连接方式
1):外连接(outer)结果中的键是并集
2):左链接(left)
3):右连接(right)
2,处理重复列名
suffixes, 默认为_x,_y(suffixes=['_x','_y'])
处理重复列名,当指定了外键后,不同的DataFrame中仍然存在列名相同的列,默认情况 下,相同列名的列会分别自动添加后缀_x,_y,也可以自定义设置后缀
3,按索引连接
left_index=True或right_index=True
例子:
pd.merge(staff_df, student_df, how='outer', on='姓名')
# 左边为staff_df,右边为student_df,指定为外连接也就是取并集,默认会取相同列,但是这里我们指定on参数
也可以写成
staff_df.merge(student_df,how='outer', on='姓名')
这就是看个人喜好了
如果两个数据集没有相同的列名
用 left_on='姓名', right_on='学生姓名' 指定
pd.merge(staff_df, student_df, how='left', left_on='姓名', right_on='学生姓名')
如果对应的列是索引的时候:
按索引进行连接,left_index=True或right_index=True
(三)数据重构stack、unstack
stack()和unstack()适用于层级索引对象,仅是对数据显示的转换,并不对数据本身产生聚合操作。
stack():将数据的列旋转为行
参数level:索引的层级。默认为-1,表示 最里面的一层,和列表的索引方式是一致的
将行旋转为列就是unstack():将数据的行旋转为列