pandas用法之二

1,函数应用

①map()

  将函数作用于一个Series的每一个函数(不能是DataFrame)

  类似于Python的高阶函数map()

  函数可以是Numpy中的通用函数,也可以是自定义函数

  优点:代码简介,效率高,不用循环

import pandas as pd
import numpy as np
l = range(10)
ser = pd.Series(l)
ser
>>>
ser
Out[46]:
0 0
1 1
2 2
3 3
4 4
5 5
6 6
7 7
8 8
9 9
dtype: int64 ser.map(np.sqrt) >>>> Out[47]:
0 0.000000
1 1.000000
2 1.414214
3 1.732051
4 2.000000
5 2.236068
6 2.449490
7 2.645751
8 2.828427
9 3.000000
dtype: float64
# 自定义函数
ser.map(lambda x: x**2 + 1)
Out[48]:
0 1
1 2
2 5
3 10
4 17
5 26
6 37
7 50
8 65
9 82
dtype: int64
def func(x):
x1 = x**3
x2 = x1 +2 +7
return x2 ser.map(func) >>> Out[50]:
0 9
1 10
2 17
3 36
4 73
5 134
6 225
7 352
8 521
9 738
dtype: int64

自定义函数传的是函数名

②apply和applymap

  通过apply()将函数应用到行或者列上面

    在DataFrame上操作时注意需要指定轴的方向,默认axis=0

pandas用法之二

  通过applymap()将函数应用到每一个数据上,和apply()是有区别的,applymap()只能作用于DataFrame

pandas用法之二

举个例子:

df = pd.DataFrame(np.arange(10).reshape(5, 2), columns=['col_1', 'col_2'])
df >>>
Out[54]:
col_1 col_2
0 0 1
1 2 3
2 4 5
3 6 7
4 8 9 df.apply(np.sum) >>>
Out[55]:
col_1 20
col_2 25
dtype: int64

这个地方容易混,横向是移动到下一个横向计算

df.apply(np.sum, axis=1)

>>>

Out[56]:
0 1
1 5
2 9
3 13
4 17
dtype: int64
df.applymap(np.sqrt)
>>> Out[57]:
col_1 col_2
0 0.000000 1.000000
1 1.414214 1.732051
2 2.000000 2.236068
3 2.449490 2.645751
4 2.828427 3.000000

2,层级索引

我们知道设置索引列是用set_index('data')

那设置多个索引列:set_index(['a', 'b'], inplace=True)  需要注意a和b的先后顺序;这样要先访问a后访问b才可以得到数据

选取子集:

外层选取 loc['outer_index']

内层选取 loc['out_index', ‘inner_index’]

交换层级顺序swaplevel()(类似于将b提到a前面)

层级索引的排序sort_index(level=)(level可以加也可以不加,不加的话默认是先排序外侧,再排内侧)

常用语分组操作、透视表的生成

pandas用法之二

如上图:外层索引是bar,内层索引是one,two

如果直接访问bar的话,就会拿到2行

3,pandas的分组与聚合

分组:对数据集进行分组,然后对每一组进行统计分析

pandas能够使用groupby进行更加复杂的分组统计

分组的运算过程 split--》apply--》combine

  拆分:进行分组的根据

  应用:每一个分组运行的计算规则

  合并:把每个分组的计算结果合并起来

聚合:数组产生标量的过程,如mean()、count()等

  常用于对分组之后的数据进行计算

  内置的聚合函数:sum(), mean(),max(),min(),count()

pandas用法之二

按照单列分组,obj.groupby('label')

按照多列分组,obj.groupby(['label'],['label2'])--》多层DataFrame(先按照label1分组,再按照label2分组)

groupby()操作后产生GroupBy对象:DataFrameGroupBy,SeriesGroupBy

GroupBy对象没有实际运算,只是包含分组的中间数据

对GroupBy对象进行分组聚合操作

  常见的聚合操作:mean(),sum(),size(),count()

  对非数值数据不进行分组运算

4,自定义分组和自定义聚合操作

(1) 自定义分组:

  ①groupby()支持传入自定义的函数进行分组,操作针对的是索引,所以要设置set_index

  ②可以通过自定义函数构造一个分组列,然后根据分组列进行groupby

(2) 自定义聚合操作:

  ①使用agg()函数

  ②传入包含多个函数的列表,可同时完成多个聚合操作

  ③可通过字典为每个列指定不同的操作方法

  ④传入自定义函数

# 自定义的分组规则
def get_score_group(score):
if score <=4:
score_group = 'low'
elif score<=6:
score_group = 'middle'
else:
score_group = 'high'
return score_group
# 方法1:传入自定义函数进行分组按照单列分组
data2 = data.set_index('Happiness Score') # 先要设置为索引
data2.groupby(get_score_group).size() # 方法2:
data2.groupby('Region').apply(get_score_group)
# 传入包含多个函数的列表
data2.groupby('Region').['Happiness Score'].agg([np.max, np.min])
# 通过字典为每一个列指定不同的操作方式
data2.groupby('Region').agg({'Happiness Score': np.mean, 'Happiness Rank': np.min})
def max_min_diff(x): # x是每个 分组的数据
return x.max()-x.min() data.groupby('Region')['Happiness Rank'].agg(max_min_diff)

5,透视表

简介:

是将‘扁平’的表转换为‘立体’表的过程

扁平?只包括行和列

立体包含行,列和值

pandas用法之二

透视表(pivot table)操作

①df.pivot_table(values, index,columns,aggfunc, margins)

②values:透视表中的元素值(根据聚合函数得出的)

③index:透视表中的行索引(列名)

④columns:透视表的列索引(列名)

⑤aggfunc:聚合函数,可以指定多个(默认是求均值)

⑥margins:表示是否对所有数据进行统计(默认是求均值)

pandas用法之二

df.pivot_table(values='Score', index='Semester', columns='Subject')

pandas用法之二

df.pivot_table(values='Score', index='Semester', columns='Subject', aggfunc=np.mean)

pandas用法之二

结果是一样的

df.pivot_table(values='Score', index='Semester', columns='Subject', margin=True)

pandas用法之二

要注意的是aggfunc是什么操作,那么margin=True参数就是代表什么

df.pivot_table(values='Score', index='Semester', columns='Subject', aggfunc=['mean', 'max', 'min'])

pandas用法之二

当然透视表也是支持层级索引的

5,数据规整

(一)数据合并concat

①按照指定的轴方向对多个数据对象进行数据合并

②pd.concat(objs, axis)

  1, objs:多个数据对象,如包含DataFrame的列表

  2,axis:0按照索引方向(纵向), 1按列方向(横向)

③注意,默认使用outer join进行合并

pandas用法之二

对应的

pandas用法之二

(二)数据合并merge

①根据单个或多个键将不同DataFrame的行连接起来(这个键就是列名)

②默认将重叠列的列名作为外键进行连接

1,on显示指定外键

  2,left_on,左侧数据的外键

  3,right_on,右侧数据的外键

③连接方式:

  1,参数how指定连接方式

    1):外连接(outer)结果中的键是并集

    2):左链接(left)

    3):右连接(right)

  2,处理重复列名

    suffixes, 默认为_x,_y(suffixes=['_x','_y'])

    处理重复列名,当指定了外键后,不同的DataFrame中仍然存在列名相同的列,默认情况    下,相同列名的列会分别自动添加后缀_x,_y,也可以自定义设置后缀

  3,按索引连接

    left_index=True或right_index=True

pandas用法之二

例子:

pandas用法之二

pd.merge(staff_df, student_df, how='outer', on='姓名')
# 左边为staff_df,右边为student_df,指定为外连接也就是取并集,默认会取相同列,但是这里我们指定on参数

也可以写成

staff_df.merge(student_df,how='outer', on='姓名')

这就是看个人喜好了

pandas用法之二

如果两个数据集没有相同的列名

用 left_on='姓名', right_on='学生姓名'  指定

pd.merge(staff_df, student_df, how='left', left_on='姓名', right_on='学生姓名')

pandas用法之二

如果对应的列是索引的时候:

按索引进行连接,left_index=True或right_index=True

pandas用法之二

(三)数据重构stack、unstack

stack()和unstack()适用于层级索引对象,仅是对数据显示的转换,并不对数据本身产生聚合操作。

stack():将数据的列旋转为行

参数level:索引的层级。默认为-1,表示 最里面的一层,和列表的索引方式是一致的

pandas用法之二

将行旋转为列就是unstack():将数据的行旋转为列

pandas用法之二

上一篇:c# Console application Open/Get Url by Browser


下一篇:Java 二维数组,排序、切换顺序,查表法二进制十进制,这班查找、排序(冒泡、选择)、遍历,获取最大小值(4)