Pandas数据聚合与分组

数据聚合与分组

  • 什么是分组聚合?如图:

Pandas数据聚合与分组

  • groupby:(by=None,as_index=True)

by:根据什么进行分组,用于确定groupby的组

as_index:对于聚合输出,返回以组便签为索引的对象,仅对DataFrame

df1 = pd.DataFrame({'fruit':['apple','banana','orange','apple','banana'],
                    'color':['red','yellow','yellow','cyan','cyan'],
                   'price':[8.5,6.8,5.6,7.8,6.4]})
#查看类型
type(df1.groupby('fruit'))
pandas.core.groupby.groupby.DataFrameGroupBy  #GruopBy对象,它是一个包含组名,和数据块的2维元组序列,支持迭代
for name, group in df1.groupby('fruit'):
    print(name) #输出组名
    apple
    banana
    orange

    print(group) # 输出数据块
       fruit color  price
    0  apple   red    8.5
    3  apple  cyan    7.8
       fruit   color  price
    1  banana  yellow    6.8
    4  banana    cyan    6.4
       fruit   color  price
    2  orange  yellow    5.6

    #输出group类型  
    print(type(group))  #数据块是dataframe类型
    <class 'pandas.core.frame.DataFrame'>
    <class 'pandas.core.frame.DataFrame'>
    <class 'pandas.core.frame.DataFrame'>

#选择任意的数据块
dict(list(df1.groupby('fruit')))['apple']  #取出apple组的数据块
   fruit color  price
0  apple   red    8.5
3  apple  cyan    7.8
  • 聚合

    | 函数名 | 描述 | | :--- | :--- | | count | 分组中非NA值的数量 | | sum | 非NA值的和 | | mean | 非NA值的平均值 | | median | 非NA值的中位数 | | std, var | 标准差和方差 | | min, max | 非NA的最小值,最大值 | | prod | 非NA值的乘积 | | first, last | 非NA值的第一个,最后一个 |

    #Groupby对象具有上表中的聚合方法
    
    #根据fruit来求price的平均值
    df1['price'].groupby(df1['fruit']).mean()
    fruit
    apple     8.15
    banana    6.60
    orange    5.60
    Name: price, dtype: float64     
    #或者
    df1.groupby('fruit')['price'].mean()
    
    #as_index=False
    df1.groupby('fruit',as_index=False)['price'].mean()
        fruit    price
    0    apple    8.15
    1    banana    6.60
    2    orange    5.60
    
    """
    如果我现在有个需求,计算每种水果的差值,
    1.上表中的聚合函数不能满足于我们的需求,我们需要使用自定义的聚合函数
    2.在分组对象中,使用我们自定义的聚合函数
    """
    #定义一个计算差值的函数
    def diff_value(arr):
        return arr.max() - arr.min()
    #使用自定义聚合函数,我们需要将函数传递给agg或aggregate方法,我们使用自定义聚合函数时,会比我们表中的聚合函数慢的多,因为要进行函数调用,数据重新排列
    df1.groupby('fruit')['price'].agg(diff_value)
    fruit
    apple     0.7
    banana    0.4
    orange    0.0
    Name: price, dtype: float64
    
上一篇:万字长文丨1分36秒,100亿,支付宝技术双11答卷:没有不可能


下一篇:c# GroupBy分组 去重