apply、applymap、transform、agg在dataframe中的用法

apply

apply方法可以被groupby、resampler、dataframe、series、offsets等对象调用。
dataframe的apply方法的官方文档
其用法为pandas.DataFrame.apply(self, func, axis=0, raw=False, result_type=None)
文档中关于func参数,只说了是要应用到行或列的函数。
agg可以做的,好像apply都可以做,所以apply比agg更加灵活,更一般化,但是调用Python内置函数和pandas函数时,运行速度比agg慢。
不同的是apply还能向用户自定义函数中传递参数,而且支持在同一个dataframe的不同series间进行运算,当应用的不是聚合函数时,就是对每个元素的逐一操作。
其返回值可以是标量也可以是Series、DataFrame对象。

map

map()是python自带的方法,可以在DataFrame中对具体的某一列使用.map()后缀的方式调用,对整个DataFrame使用会报错,不能使用聚合函数。

applymap

applymap先应用apply再对每个Series使用map,可实现逐个元素操作
apply 让函数作用于列或者行,applymap可以作用于每一个元素,map主要作用于series上的元素。applymap()是pandas里DataFrame的方法,它对DataFrame中的所有元素应用操作,不能使用聚合函数。

##jupyter中打印所有结果的解决办法
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity='all'

import pandas as pd
import numpy as np

df = pd.DataFrame(np.random.rand(4, 3), columns = list('abc'))
df

#注意使用applymap()可以格式化字符串,使用apply()会报错,可采用函数的方法达到相同的目的。
func = lambda x: f'{x:.2f}%'
df.applymap(func)

输出如下:
apply、applymap、transform、agg在dataframe中的用法

transform

transform方法可以被groupby、resampler、dataframe、series等对象调用。
groupby的transform方法的官方文档
其用法为pandas.DataFrame.transform(self, func, axis=0, *args, **kwargs)

其特点是,按元素进行操作,所以输入dataframe与输出dataframe的大小完全相同
本方法同样支持对不同的轴调用不同的函数,以及通过字符串形式调用内置函数。
transform可以实现的操作,apply都可以,但是反之不成立。同agg一样,与内建函数一起使用时,比apply速度快。
在groupby对象中执行函数时,会同时使用元素的信息和所在组的信息。

##jupyter中打印所有结果的解决办法
from IPython.core.interactiveshell import InteractiveShell
InteractiveShell.ast_node_interactivity='all'

#transform使用多个自定义函数
df = pd.DataFrame({'A': range(3), 'B': range(1, 4)})
trans=df.transform([np.sqrt, np.exp])

          A                   B           
       sqrt       exp      sqrt        exp
0  0.000000  1.000000  1.000000   2.718282
1  1.000000  2.718282  1.414214   7.389056
2  1.414214  7.389056  1.732051  20.085537

总结:transform方法与apply很像,但是对使用的函数有一定限制:
它可以产生一个和输入组形状相同的对象,但是它不能修改输入

agg()

agg()属于DataFrame、Series对象的方法,可与聚合函数一起使用,例如sum、avg、count等

#对dataframe指定列进行指定的聚合运算
df = pd.DataFrame([[1, 2, 3],
                   [4, 5, 6],
                   [7, 8, 9],
                   [np.nan, np.nan, np.nan]],
                columns=['A', 'B', 'C'])
                
df.agg({'A' : ['sum', 'min'], 'B' : ['min', 'max']})

#输出:

        A    B
max   NaN  8.0
min   1.0  2.0
sum  12.0  NaN
上一篇:3. Dataset、transform和Dataloader的联立使用


下一篇:2021-11-12