cframe=df[df.a.notnull()]

operation_sys=np.where(cframe["a"].str.contains("Windows"),"Windows","Not Windows")

"根据时区和新的操作系统分组"

by_tz_os=cframe.groupby(["tz",operation_sys])

by_tz_os.size().unstack().fillna(0)[:5]

"选取最常出现的时区"

indexer=arg_counts.sum(1).argsort()

"通过take按照这个顺序截取最后10行"

count_sub=arg_counts.take(indexer)[-10:]

"通过stacked=True 来生成一张条形图"

count_sub.plot(kind="barh",stacked=True) #"将两种信息都衔接在一起表现在图表中！"

unames=["user_id","gender","age","occupation","zip"]

users=pd.read_table("{dir}{name}".format(dir=movie_dir,name="users.dat"),sep="::",header=None,names=unames)

users[:5]

data=pd.merge(pd.merge(users,ratings),movies)

"按照性别对各电影的评分进行综合排名。使用pivot_table 方法"

mean_ratings=data.pivot_table("rating",columns="gender",index="title",aggfunc="mean")

mean_ratings[:5]

"过滤掉评分数据不足250条的电影 按照title分组。得到每组的评分条数"

rating_by_title=data.groupby("title").size()

active_titles=rating_by_title.ix[rating_by_title>=250]

cur_mean_ratings=mean_ratings.ix[active_titles] #从之前的mean_ratings中选取评论数》＝250条的数据

"为了了解女性观众最喜欢的电影，按照性别‘f’进行降序排列"

cur_mean_ratings.sort_index(by="F",ascending=False)[:4]

"如果想找到评分分歧最大的电影，则可以计算电影评分的方差或标准差"

rating_std_by_title=data.groupby("title")["rating"].std()

"根据active_titles进行过滤"

rating_std_by_title=rating_std_by_title.ix[active_titles]

"对series进行降序排列"

rating_std_by_title=rating_std_by_title.order(ascending=False)

利用python进行数据分析：

第三章：ipython

1、分析每句python执行的时间：

   %timeit python语句。

   eg:

   "时间分析命令。 用于分析每条命令执行的时间"

    strings=["Lindsay","Poo","Pandas","Python","Numpy","Scipy"]*100000

    %timeit  method1=[x for x in strings if x.startswith("Lin")]

    %timeit  method2=[x for x in strings if x[:3]=="Lin"]

    %timeit会自动多次执行，以产生一个精确的平均执行时间！

第四章：Numpy基础：数组和矢量计算

1、Numpy部分功能：

   用于对整组数据进行快速运算的标准数学函数（无需编写循环）

   用于集成由C、C++、Fortran等语言编写的代码的工具。

2、理解Numpy数组，以及面向数组的计算有利于更高效的使用诸如Pandas之类的工具。

3、Pandas还提供了一些Numpy所没有的更加领域特定的功能：如时间序列处理等！

4、Numpy可以像标量一样进行运算。

import numpy as np

data=np.array([[1,2,3,4,5],[6,7,8,9,10]])

data

"可以对整个np.array数组进行标量运算"

print data*10

print data+data

5、numpy是同构数据多维容器。 类型相同。  data.shape    data.dtype

6、精通面向数组的编程和逻辑思维方式是成为Python科学计算牛人的一大关键步骤。

7、"使用zeros 和 one 和 empty 构建numpy数组。"

np.zeros(8)

np.zeros((2,3))

np.ones(5)

np.ones((3,4))

np.empty(6)

np.empty((3,2)) #认为np.empty 返回全0数据是不安全的。很多情况下，返回的是一些未初始化的垃圾值。

8、np.arange(n) 是python中range的数组版

9、"numpy中的astype 可以将numpy转换为特定的类型"

data4=data4.astype("string_")

data4.dtype

data4

10、astype 无论如何都会创建出一个新的数组（原始数据的一份拷贝），几十新dtype和老的dtype相同也是如此！

11、注意：浮点数(float64和gloat32)只能表示近似的分数值。 在复杂计算中，由于可能会积累一些浮点错误，因子比较操作只能在一定小数位以内有效。

12、数组和标量之间的运算（数组的矢量化）

arr=np.array([[1,2,3],[4,5,6]])

arr+arr

arr-arr

arr*arr

1/arr

arr**0.5

13、基本的索引和切片

"Numpy数组的索引和切片"

arr=np.arange(10)

arr[5]

arr[5:8]

arr[5:8]=14

arr

#注意：数组切片是原始数组的视图，这意味着数据不会被复制，视图上的任何修改都会直接反映到源数组上。

arr_slice=arr[5:8]

arr_slice[1]=12345

arr_slice

arr

arr[:]=64

arr

#如果想要得到的是numpy.array切片的一份副本而非视图，就需要显式地进行复制操作。如：arr[5:8].copy()

14、二维数组中，各索引位置上的元素不是标量，而是一维数组。 可以通过以","分割的列表来访问某个元素。

arr2=np.array([[1,2,3],[4,5,6],[7,8,9]])

arr2[2]

arr2[1,2]

arr2[1][2] #后两种方式是等价的。

15、多维数组切片： 例如：

arr2=np.array([[1,2,3],[4,5,6],[7,8,9]])

#print arr2

arr2[:1,:2] #中间用","分割。

16、布尔型索引：

"布尔型索引 。 索引列表要和numpy数组的行数一致。 索引列表包含值为：True 或 False。 "

names=np.array(['Bob','Joe','Will','Joe','Joe','Bob','Will'])

data=np.random.randn(7,4)

"选取name为 Bob的"

names=="Bob"

"根据name=='Bob'条件 选择数据"

data[names=='Bob']

data[names=='Bob',2]

"选取多个判断条件时，需要使用 布尔运算符 | 或 &。 多个判断条件之间用()括起来"

(names=='Bob') | (names=='Joe')

"利用布尔条件选择数据"

data[(names=='Bob') | (names=='Joe')]

"注意：通过布尔型索引选取数组中的数据，将总是创建数据的副本。 即使返回一模一样的数组也是如此。"

"python关键字：and 或 or 在布尔型数组中无效！"

"将所有负值都设置为0"

data[data<0]=0

"通过一维布尔数组 设置整行 或 整列的值"

data[names!='Bob']=7

data

17、"花式索引：根据指定整数数组进行索引"

arr=np.empty((8,4)) #返回数组中数据并不是0，而是随机的未初始化的数值

for i in xrange(8):

    arr[i]=i

arr

arr[[3,4,7]] #从0下标开始，取数据。

arr

arr[[-2,-5,-6]]

18、reshape

"根据多个索引数组 选取数据"

data=np.arange(32).reshape(8,4)

data

data[[1,2,3,4],[3,2,0,1]] #相当于指定坐标的点的列表

data[[1,2,3,4]][:,[3,2,0,1]] #先选中所有行切片之后，再选择列。

"注意：花式索引，和切片不同。 总是将数据复制到新数组中！"

19、通用函数：快速的元素级别数组函数

arr=np.arange(10)

np.sqrt(arr)

np.exp(arr)

x=np.random.randn(8)

y=np.random.randn(8)

np.maximum(x,y) #返回x,y中对应位置的最大值 组成的数组

arr=np.random.randn(7)*5

print arr

np.modf(arr) #返回两个数组，分别为：小数部分数组和整数部分数组。

20、用数组表达式替换循环的做法，称之为：矢量化。 矢量化数组运算比等价的python方式快上一两个数量级（甚至更多）

21、"将条件逻辑表现为 数组运算"

xarr=np.array([1,2,3,4,5,6,7,8])

yarr=np.array([2,4,9,16,25,36,49,64])

cond=np.array([True,False,True,False,False,False,True,False])

result=np.where(cond,xarr,yarr)

result

1、"用于布尔型数组的方法：在sum cumsum cumprod std 等方法中，布尔类型被强制转化为1(True),0(False)"

"可以用sum 对数组中的True的值进行统计"

arr=np.random.randn(100)

(arr>0).sum()

"any 和  all。 any:用于判断数组中是否存在一个或多个True。 all:数组中是否全部都为True"

arr=np.array([True,False,False])

arr.any()

arr=np.array([False,False,False])

arr.any()

arr=np.array([True,True])

arr.all()

arr=np.array([False,False])

arr.all()

"这两个方法也适用于 非布尔类型数据。 所有非0数值均被当做True"

arr=np.array([1,2,0,3,4])

arr.any()

arr=np.array([-1,-2])

arr.any()

arr.all()

2、"排序 和python中的list一样。 可以通过sort方法实现就地排序。 改变了原始数组中数据的顺序"

arr=np.random.randn(8)

print arr

arr.sort()

print arr

arr2=np.random.randn(5,4)

print arr2

arr2.sort(1) #多维数组排序

print arr2

arr3=np.random.randn(8)

print arr3

print np.sort(arr3) #使用*方法 np.sort，返回的是数组的一个已排序的副本。 arr.sort()是在原始数据上就地排序。

3、"唯一化 以及 其他的集合逻辑"

"返回已排好序的唯一数组"

names=np.array(["bob","joe","anna","joe","anna"])

np.unique(names) #返回已排序好的唯一数组

ints=np.array([1,2,3,4,5,1,2,3,4,1,2,1])

np.unique(ints)

"np.in1d 测试原始数组在另外一个数组中的成员资格。  返回一个布尔类型的数组"

np.in1d(ints,[4,7,8])

"其他各种集合操作 :交集、并集、差集、异或 等"

4、numpy进行数据存储

"存储和读取二进制文件 如果没有填写后缀：.npy 则numpy在保存的时候会自动添加"

arr=np.random.randn(10)

np.save("arr",arr)

np.load("arr.npy")

"numpy 将多个数组添加到亚索文件中。 如果未指定后缀，则会默认添加后缀：.npz 会对各个数组进行延迟加载！"

arr2=np.array([[1,2,3],[4,5,6],[7,8,9]])

np.savez("savez",a=arr,b=arr2)

np.load("savez.npz")["b"]