目录

• 数据分析05 /pandas的高级操作
  • 1. 替换操作
  • 2. 映射操作
  • 3. 运算工具
  • 4. 映射索引 / 更改之前索引
  • 5. 排序实现的随机抽样/打乱表格数据
  • 6. 数据的分类处理 / 分组
  • 7. 高级数据聚合
  • 8. 数据加载
  • 9. 透视表
  • 10. 交叉表

数据分析05 /pandas的高级操作

1. 替换操作

替换操作可以同步作用于Series和DataFrame中

• 创建df表格数据：

  import numpy as np
  import pandas as pd
  from pandas import DataFrame,Series
  
  df = DataFrame(data=np.random.randint(0,100,size=(8,7)))

• 普通替换： 替换所有符合要求的元素:to_replace=15,value='e'

  df.replace(to_replace=0,value='zero')

• 按列指定单值替换： to_replace={列标签：替换值} value='value'

  df.replace(to_replace={0:'aaa',22:222666})

• 指定行替换

  df.iloc[2] = [0,0,0,0,0,0,0]
  df

• 指定列替换

  df.replace(to_replace={4:0},value=666)
  
  # 将第4列中的0替换成666

2. 映射操作

• 概念：map是Series的一个方法，创建一个映射关系列表，把values元素和一个特定的标签或者字符串绑定（给一个元素值提供不同的表现形式）

• 需求：创建一个df，两列分别是姓名和薪资，然后给其名字起对应的英文名

  1.创建一个df表格：

  dic = {
      'name':['张三','李四','王老五'],
      'salary':[22222,7777,11111]
  }
  df = DataFrame(data=dic)
  df

  2.创建映射表：

  # 映射关系表
  dic = {
      '张三':'tom',
      '李四':'jay',
      '王老五':'jerry'
  } 
  df['e_name'] = df['name'].map(dic)
  df

3. 运算工具

• map：map括号中放的是函数就是充当运算工具来使用

  示例：超过3000部分的钱缴纳50%的税，计算每个人的税后薪资

  def after_sal(s):   # 返回税后薪资，参数s就是税前薪资
      return s - (s-3000)*0.5
  
  df['after_sal'] = df['salary'].map(after_sal)
  df

• apply：apply是df的一个方法/运算工具，可以将df中行或者列数据进行某种形式的运算操作。

  def func(s):
      s = s.sum()
      print(s)
  df.apply(func,axis=0)
  
  # 结果：
  张三李四王老五
  41110
  tomjayjerry
  25055.0

4. 映射索引 / 更改之前索引

• 使用rename()函数替换行索引

  参数介绍：index 替换行索引，columns 替换列索引

  1.创建df4表格

  df4 = DataFrame({'color':['white','gray','purple','blue','green'],'value':np.random.randint(10,size = 5)})
  df4

  2.映射行/列索引

  # 映射关系表：映射行索引
  new_index = {0:'first',1:'two',2:'three',3:'four',4:'five'}
  # 映射关系表：映射列索引
  new_col={'color':'cc','value':'vv'}
  
  df4.rename(new_index,columns=new_col)

5. 排序实现的随机抽样/打乱表格数据

• np.random.permutation()：指定数内随机排序

  np.random.permutation(10)
  
  # 结果：
  array([8, 2, 6, 7, 3, 9, 1, 5, 0, 4])

• take()：将df数据的行/列进行打乱操作

  df = DataFrame(data=np.random.randint(0,100,size=(100,3)),columns=['A','B',"C"])
  df.take(np.random.permutation(3),axis=1).take(np.random.permutation(100),axis=0)[:50]

6. 数据的分类处理 / 分组

• 数据分类处理的核心：groupby()函数，groups属性查看分组情况

  1.创建表格

  df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
                  'price':[4,3,3,2.5,4,2],
                 'color':['red','yellow','yellow','green','green','green'],
                 'weight':[12,20,50,30,20,44]})
  df

  示例1：计算每种水果的平均价格

  # 分组
  df.groupby(by='item')
  # 结果：<pandas.core.groupby.DataFrameGroupBy object at 0x000001B6E3D4A0B8>
  
  # 查看分组情况
  df.groupby(by='item').groups
  # 结果：
  {'Apple': Int64Index([0, 5], dtype='int64'),
   'Banana': Int64Index([1, 3], dtype='int64'),
   'Orange': Int64Index([2, 4], dtype='int64')}
  
  # 请平均价格
  df.groupby(by='item').mean()['price']  # 不推荐
  df.groupby(by='item')['price'].mean()  # 推荐

  示例2：计算每种颜色水果的平均重量

  df.groupby(by='color')['weight'].mean()

  示例3：将每种水果的平均价格数据汇总到原数据中，通过映射实现

  # 求每种水果的平均价格
  mean_price_series = df.groupby(by='item')['price'].mean()
  
  # 将mean_price_series转换成字典，mean_price_series是Series类型
  dic = mean_price_series.to_dict()
  
  # 建立item和平均价格的映射关系，并在表中创建mean_price列
  df['mean_price'] = df['item'].map(dic)

7. 高级数据聚合

• 使用groupby分组后，也可以使用transform和apply提供自定义函数实现更多的运算

  示例：

  df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)

• transform和apply都会进行运算，在transform或者apply中传入函数即可，transform和apply也可以传入一个lambda表达式

  transform应用示例1：

  # 错误示例：
  def abc(s):
      return s
  df.groupby(by='item')['price'].abc()   # abc不是Series对象的方法
  
  # 正确使用：
  df.groupby(by='item')['price'].transform(abc)   #通过transform可以实现

  transform应用示例2：自定义一个求均值的函数，作用到分组结果中

  def my_mean(s):
      sum = 0
      for i in s:
          sum+=i
      return sum/s.size
  df.groupby(by='item')['price'].transform(my_mean)

  apply应用实例：自定义一个求均值的函数，为了防止混淆，可以忽略此方法

  def my_mean(s):
      sum = 0
      for i in s:
          sum+=i
      return sum/s.size
  df.groupby(by='item')['price'].apply(my_mean)

8. 数据加载

• 读取type-.txt文件数据

  import pandas as pd
  from pandas import DataFrame,Series
  data=pd.read_csv('./data/type-.txt')
  
  
  # data/type-.txt文件数据：
  """
  你好-我好-他也好
  也许-大概-有可能
  然而-未必-不见得
  """

  将文件中每一个词作为元素存放在DataFrame中

  data=pd.read_csv('./data/type-.txt',sep='-',header=None)
  
  # sep:通过sep指定的符号切割
  # header=None，不以数据的第一行作为列的索引

• 读取数据库中的数据

  # 连接数据库，获取连接对象
  import sqlite3 as sqlite3
  conn=sqlite3.connect('./data/weather_2012.sqlite')
  
  # 读取库表中的数据值
  sql_df=pd.read_sql('select * from weather_2012',conn)
  sql_df
  
  # 将一个df中的数据值写入存储到db
  df.to_sql('fruit',conn)
  
  # 此方法不适用mysql数据库的写入

9. 透视表

• 透视表概述：

  透视表是一种可以对数据动态排布并且分类汇总的表格格式。或许大多数人都在Excel使用过数据透视表，也体会到它的强大功能，而在pandas中它被称作pivot_table。

• 透视表的优点：

  • 灵活性高，可以随意定制你的分析计算要求
  • 脉络清晰易于理解数据
  • 操作性强，报表神器

• 透视表的参数：

  pivot_table有四个最重要的参数index、values、columns、aggfunc

  index参数：分类汇总的分类条件

  values参数：需要对计算的数据进行筛选

  Aggfunc参数：设置我们对数据聚合时进行的函数操作，当我们未设置aggfunc参数：默认aggfunc='mean'计算均值

  Columns参数：可以设置列层次字段，对values字段进行分类

• 示例：分析NBA球星的比赛数据

  

  将数据读取出来

  import pandas as pd
  import numpy as np
  df = pd.read_csv('./data/basketball_game.csv')
  df.head()

  1.查看Harden对阵过球队的比赛数据

  df.pivot_table(index='对手')  # 默认分类汇总使用的聚合函数是mean

  2.对阵同一对手在不同主客场下的数据，分类条件为对手和主客场

  df.pivot_table(index=['对手','主客场'])

  3.只需要Harden在主客场和不同胜负情况下的得分、篮板与助攻三项数据

  df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'])
  
  # values参数的使用

  4.获取Harden在主客场和不同胜负情况下的总得分、总篮板、总助攻数

  df.pivot_table(index=['主客场','胜负'],values=['得分','篮板','助攻'],aggfunc='sum')
  
  # aggfunc参数的使用

  5.获取Harden在主客场和不同胜负情况下的平均得分、总篮板、最小助攻数

  df.pivot_table(index=['主客场','胜负'],aggfunc={'得分':'mean','篮板':'sum','助攻':'min'})

  6.获取所有队主客场的总得分

  df.pivot_table(index='主客场',values='得分',aggfunc='sum')

  7.获取每个队主客场的总得分（在总得分的基础上又进行了对手的分类）

  df.pivot_table(index='主客场',values='得分',aggfunc='sum',columns='对手').fillna(value=0)
  
  # Columns参数的使用

  

10. 交叉表

• 交叉表概述：是一种用于计算分组的特殊透视图,对数据进行汇总，pd.crosstab(index,colums)

• 交叉表pd.crosstab(index,colums)的参数：

  index参数：分组数据，交叉表的行索引

  columns参数：交叉表的列索引

• 交叉表应用示例：

  1.创建表

  df = DataFrame({'sex':['man','man','women','women','man','women','man','women','women'],
                 'age':[15,23,25,17,35,57,24,31,22],
                 'smoke':[True,False,False,True,True,False,False,True,False],
                 'height':[168,179,181,166,173,178,188,190,160]})
  df

  2.求出不同性别抽烟的人数

  pd.crosstab(df.smoke,df.sex)

  3.求出各个年龄段抽烟人情况

  pd.crosstab(df.age,df.smoke)