动手学数据分析系列---数据重构

复习:在前面我们已经学习了Pandas基础,第二章我们开始进入数据分析的业务部分,在第二章第一节的内容中,我们学习了数据的清洗,这一部分十分重要,只有数据变得相对干净,我们之后对数据的分析才可以更有力。而这一节,我们要做的是数据重构,数据重构依旧属于数据理解(准备)的范围。

开始之前,导入numpy、pandas包和数据

# 导入基本库
import numpy as np
import pandas as pd
# 载入data文件中的:train-left-up.csv
df = pd.read_csv(./data/train-left-up.csv)
df.head()

2.4 数据的合并

2.4.1 任务一:将data文件夹里面的所有数据都载入,观察数据的之间的关系
text_left_up = pd.read_csv("./data/train-left-up.csv")
text_left_down = pd.read_csv("./data/train-left-down.csv")
text_right_up = pd.read_csv("./data/train-right-up.csv")
text_right_down = pd.read_csv("./data/train-right-down.csv")

动手学数据分析系列---数据重构

2.4.2:任务二:使用concat方法:将数据train-left-up.csv和train-right-up.csv横向合并为一张表,并保存这张表为result_up
up_list = [text_left_up,text_right_up]
result_up = pd.concat(up_list, axis=1)
result_up.head()

动手学数据分析系列---数据重构

2.4.3 任务三:使用concat方法:将train-left-down和train-right-down横向合并为一张表,并保存这张表为result_down。然后将上边的result_up和result_down纵向合并为result。
down_list = [text_left_down,text_right_down]
result_down = pd.concat(down_list,axis=1)
result = pd.concat([result_up,result_down])
result.head()

动手学数据分析系列---数据重构

2.4.4 任务四:使用DataFrame自带的方法join方法和append:完成任务二和任务三的任务
result_up = text_left_up.join(text_right_up)
result_down = text_left_down.join(text_right_down)
result = result_up.append(result_down)
result.head()

动手学数据分析系列---数据重构

2.4.5 任务五:使用Panads的merge方法和DataFrame的append方法:完成任务二和任务三的任务
result_up = pd.merge(text_left_up,text_right_up,left_index=True,right_index=True)
result_down = pd.merge(text_left_down,text_right_down,left_index=True,right_index=True)
result = result_up.append(result_down)
result.head()

动手学数据分析系列---数据重构

2.4.6 任务六:完成的数据保存为result.csv
result.to_csv(result.csv)

2.5 换一种角度看数据

2.5.1 任务一:将我们的数据变为Series类型的数据
df = pd.read_csv(result.csv)
df.head()
unit_result = df.stack()
unit_result.head()

动手学数据分析系列---数据重构

unit_result.to_csv(unit_result.csv)
test = pd.read_csv(unit_result.csv)
test.head()

动手学数据分析系列---数据重构

2.6 数据运用:数据聚合与运算

# 载入上一个任务人保存的文件中:result.csv,并查看这个文件
df = pd.read_csv(result.csv)
df.head()

动手学数据分析系列---数据重构

2.6.1 任务一:通过教材《Python for Data Analysis》P303、Google or anything来学习了解GroupBy机制

groupby的操作可以被分为3部分:
第一步,存储于series或DataFrame中的数据,根据不同的keys会被split(分割)为多个组。(这个分组可以按照不同的轴进行划分,axis=0按照行;axis=1按照列)
第二步,我们可以把函数例如mean等,apply在每一个组上,产生一个新的值。
第三步,函数产生的结果被combine(结合)为一个结果对象(result object)。

2.4.2:任务二:计算泰坦尼克号男性与女性的平均票价
df1  = df[Fare].groupby(df[Sex])
means = df1.mean()
means

动手学数据分析系列---数据重构

2.4.3:任务三:统计泰坦尼克号中男女的存活人数
survived_nums = df[Survived].groupby(df[Sex]).sum()
survived_nums.head()

动手学数据分析系列---数据重构

2.4.4:任务四:计算客舱不同等级的存活人数
survived_pclass_nums = df[Survived].groupby(df[Pclass]).sum()
survived_pclass_nums.head()

动手学数据分析系列---数据重构

【思考】从任务二到任务三中,这些运算可以通过agg()函数来同时计算。并且可以使用rename函数修改列名。

df.groupby(Sex).agg({Fare: mean, Pclass: count}).rename(columns=
                            {Fare: mean_fare, Pclass: count_pclass})

动手学数据分析系列---数据重构

2.4.5:任务五:统计在不同等级的票中的不同年龄的船票花费的平均值
df.groupby([Pclass,Age])[Fare].mean().head()

动手学数据分析系列---数据重构

2.4.6:任务六:将任务二和任务三的数据合并,并保存到sex_fare_survived.csv
result = pd.merge(means,survived_nums,on=Sex)
result

动手学数据分析系列---数据重构

2.4.7:任务七:得出不同年龄的总的存活人数,然后找出存活人数的最高的年龄,最后计算存活人数最高的存活率(存活人数/总人数)
#不同年龄的存活人数
survived_age = df[Survived].groupby(df[Age]).sum()
survived_age.head()
#找出最大值的年龄段
survived_age[survived_age.values==survived_age.max()]

survived_sum = df[Survived].sum()
print(f"sum of person:{str(survived_sum)}")
percent
=survived_age.max()/survived_sum print(f"最大存活率:{str(percent)}")

动手学数据分析系列---数据重构

动手学数据分析系列---数据重构

上一篇:Oracle中B-TREE索引的深入理解(转载)


下一篇:MSSQL在线文件还原脚本