本文来源于《利用python进行数据分析》中文版,大家有兴趣可以看原版,入门的东西得脚踏实地哈
1、pandas 数据结构介绍
首先熟悉它的两个主要数据结构,Series 和 DataFrame
Series 是一种类似于一维数组的对象,它由一组数据以及一组与之相关的数据标签组成。
obj = pd.Series([4, 7, -5, 3]) obj
Out[4]:
0 4
1 7
2 -5
3 3
dtype: int64
Series字符串表现形成为:索引在左,值在右,可以通过Series的values和index属性获取其数组表示形式和索引对象
obj.values
Out[5]: array([ 4, 7, -5, 3], dtype=int64)
obj.index
Out[6]: RangeIndex(start=0, stop=4, step=1)
对各个数据点进行标记索引
obj2 = pd.Series([4, 7], index =['d', 'b']) obj2
Out[8]:
d 4
b 7
dtype: int64
Numpy数组运算会保留索引和值之间的链接
还可以将Series看成是一个定长的有序字典,因为它是索引值到数据值的一个映射。
如果数据被存入在一个python字典中,也可以直接通过这个字典来创建Series
sdata = {'name1': 'tom', 'name2': 'Jerry'} obj3 = pd.Series(sdata) obj3
Out[11]:
name1 tom
name2 Jerry
dtype: object
如果只传入一个字典,则结果Series中的索引就是原字典的键(有序排列)
states = ['name1', 'name2', 'name3'] obj4 = pd.Series(sdata, index = states) obj4
Out[17]:
name1 tom
name2 Jerry
name3 NaN
dtype: object
#注意找不到是直接变为NaN
pandas 的isnull 和 notnull 函数可用于检测缺失数据
对于许多应用而言, Series最重要的一个功能是:它在算术运算中会自动对齐不同索引的数据。
Series的索引可以通过赋值的方式就地修改
==========================================================================================
DataFrame是一个表格型的数据结构,它含有一组有序的列,每列可以是不同中的值类型(数值、字符串、布尔值等)。DataFrame即有行索引也有列索引,它可以被看做由Series
组成的字典(共用同一索引)。DataFrame中面向行和列的操作基本上是平衡的。其实DataFrame中的数据是以一个或多个二维块存放的,而不是列表、字典或别的一维数据结构。
(注意:虽然DataFrame是以二维结构保存数据的,但你仍然可以轻松地将其表示为更高维度的数据,层次 化索引的表格型结构,这是pandas中许多高级数据处理功能的关键要素)
构建DataFrame的办法有很多,最常用的一种是直接传入一个由等长列表或NumPy数组组成的字典:
结果dataframe会自动加上索引,且全部列会被有序排列:
data = {'state': ['Ohio', 'Ohio', 'Ohio', 'Nevada', 'Nevada'],
'year': [2000, 2001, 2002, 2001, 2002],
'pop': [1.5, 1.7, 3.6, 2.4, 2.9]} frame = pd.DataFrame(data) frame
Out[20]:
pop state year
0 1.5 Ohio 2000
1 1.7 Ohio 2001
2 3.6 Ohio 2002
3 2.4 Nevada 2001
4 2.9 Nevada 2002
如果指定了列序列,则DataFrame的列就会按照指定顺序进行排列:
pd.DataFrame(data, columns = ['year', 'state', 'pop'])
Out[21]:
year state pop
0 2000 Ohio 1.5
1 2001 Ohio 1.7
2 2002 Ohio 3.6
3 2001 Nevada 2.4
4 2002 Nevada 2.9
这个非常重要,数据分析中经常用到,也可以pd.DataFrame(data, columns = ['year', 'state''])只取两列
pd.DataFrame(data, columns = ['year', 'state'])
Out[22]:
year state
0 2000 Ohio
1 2001 Ohio
2 2002 Ohio
3 2001 Nevada
4 2002 Nevada
跟Series一样,如果传入的列在数据中找不到,就会产生NA值:
frame2 = pd.DataFrame(data, columns = ['year', 'state', 'pop', 'debt'], index = ['one', 'two', 'three', 'four', 'five']) frame2
Out[26]:
year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 NaN
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 NaN
five 2002 Nevada 2.9 NaN
frame2.columns
Out[27]: Index(['year', 'state', 'pop', 'debt'], dtype='object')
通过类似字典标记的方式或属性的方式,可以将DataFrame的列获取为一个Series:
frame2['state']
Out[28]:
one Ohio
two Ohio
three Ohio
four Nevada
five Nevada
Name: state, dtype: object frame2.year
Out[29]:
one 2000
two 2001
three 2002
four 2001
five 2002
Name: year, dtype: int64
frame2.ix['three']
Out[30]:
year 2002
state Ohio
pop 3.6
debt NaN
Name: three, dtype: object
列可以通过赋值的方式进行修改
frame2['debt'] = 16.5 frame2
Out[32]:
year state pop debt
one 2000 Ohio 1.5 16.5
two 2001 Ohio 1.7 16.5
three 2002 Ohio 3.6 16.5
four 2001 Nevada 2.4 16.5
five 2002 Nevada 2.9 16.5
frame2['debt'] = np.arange(5) frame2
Out[35]:
year state pop debt
one 2000 Ohio 1.5 0
two 2001 Ohio 1.7 1
three 2002 Ohio 3.6 2
four 2001 Nevada 2.4 3
five 2002 Nevada 2.9 4
将列表或数组赋值给某个列时,其长度必须跟DataFrame的长度相匹配。如果赋值的是一个Series,就会精确匹配DataFrame的索引,所有的空位都将被填上缺失值
val = pd.Series([-1.2, -1.5, -1.7], index = ['two', 'four', 'five']) frame2['debt'] = val frame2
Out[38]:
year state pop debt
one 2000 Ohio 1.5 NaN
two 2001 Ohio 1.7 -1.2
three 2002 Ohio 3.6 NaN
four 2001 Nevada 2.4 -1.5
five 2002 Nevada 2.9 -1.7
为不存在的列赋值会创建出一个新列。关键字del用于删除列:
frame2['eastern'] = frame2.state == 'Ohio' frame2
Out[41]:
year state pop debt eastern
one 2000 Ohio 1.5 NaN True
two 2001 Ohio 1.7 -1.2 True
three 2002 Ohio 3.6 NaN True
four 2001 Nevada 2.4 -1.5 False
five 2002 Nevada 2.9 -1.7 False
del frame2['eastern'] frame2.columns
Out[43]: Index(['year', 'state', 'pop', 'debt'], dtype='object')
输入给DataFrame构造器的数据,列出了构造函数所能接受的各种数据
如果设置了DataFrame的index和columns的name属性,则这些信息也会被显示出来
跟Series一样, values属性也会以二维ndarray的形式返回DataFrame中的数据:
如果DataFrame各列的数据类型不同,则值数组的数据类型就会选用能兼容所有列的数据类型
2、索引对象
pandas的索引对象负责管理轴标签和其他元数据,构建Series或DataFrame时,所用到的任何数组或其他序列的标签都会被转换成一个index
obj = pd.Series(range(3), index = ['a', 'b', 'c']) index = obj.index index
Out[46]: Index(['a', 'b', 'c'], dtype='object')
index对象是不可修改的,因此用户不能对其进行修改
不可修改性非常重要,因为这样才能使index对象在多个数据结构之间安全共享
index = pd.Index(np.arange(3))
obj2 = pd.Series([1.5, - 2.5, 0], index = index) obj2.index is index
Out[48]: True
注意:虽然大部分用户都不需要知道太多关于Index对象的细节,但它们确实是pandas数据模型的重要组成部分
pandas中主要的index对象
每个索引都有一些方法和属性,它们可用于设置逻辑并回答有关该索引所包含的数据的常见问题
Index 的方法和属性