JoyfulPandas 第一章 预备知识

joyfulpandas首页:http://inter.joyfulpandas.datawhale.club/Home.html

一、Python基础

1.列表推导式与条件赋值

在生成一个数字序列的时候,在Python中可以如下写出:

L = []

def my_func(x):
    return 2*x

for i in range(5):
    L.append(my_func(i))
L
[0, 2, 4, 6, 8]

事实上可以利用列表推导式进行写法上的简化:[* for i in *]。其中,第一个*为映射函数,其输入为后面i指代的内容,第二个*表示迭代的对象。

[my_func(i) for i in range(5)]
[0, 2, 4, 6, 8]

列表表达式还支持多层嵌套,如下面的例子中第一个for为外层循环,第二个为内层循环:

[m+'_'+n for m in ['a', 'b'] for n in ['c', 'd']]
['a_c', 'a_d', 'b_c', 'b_d']

除了列表推导式,另一个实用的算法糖是带有if选择的条件赋值,其形式为value = a if condition else b:

value = 'cat' if 2 > 1 else 'dog'

value
'cat'

等价于如下写法:

a, b = 'cat', 'dog'
condition = 2 > 1 # 此时为True
if condition:
    value = a
else:
    value = b
value
'cat'

下面举一个例子,截断列表中超过5的元素,即超过5的用5代替,小于5的保留原来的值

L = [1, 2, 3, 4, 5, 6 ,7]

[i if i <= 5 else 5 for i in L]
[1, 2, 3, 4, 5, 5, 5]

2.匿名函数与map方法

有一些函数的定义具有清晰简单的映射关系,例如上面的my_func函数,这时候可以用匿名函数的方法简洁地表示:

my_func = lambda x: 2*x

my_func(3)
6
multi_para_func = lambda a, b : a + b

multi_para_func(1, 2)
3

但上面的用法其实违背了“匿名”的含义,事实上它往往在无需多处调用的场合进行使用,例如上面列别推导式中的例子,用户不关心函数的名字,只关心这种映射关系:

[(lambda x:2*x)(i) for i in range(5)]
[0, 2, 4, 6, 8]

对于上述的这种列表推导式的匿名函数映射,Python中提供了map函数来完成,它返回的是一个map对象,需要通过list转为列表:

list(map(lambda x:2*x, range(5)))
[0, 2, 4, 6, 8]

对于多个输入值的函数映射,可以通过追加迭代对象实现:

list(map(lambda x, y : str(x)+'_'+y, range(5), list('abcde')))
['0_a', '1_b', '2_c', '3_d', '4_e']

3.zip对象与enumerate方法

zip函数能够把多个可迭代对象打包成一个元组构成的可迭代对象,它返回了一个zip对象,通过tuple, list可以得到相应的打包结果:

L1, L2, L3 = list('abc'), list('def'), list('hij')

list(zip(L1, L2, L3))
[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
tuple(zip(L1, L2, L3))
(('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j'))

往往在循环迭代的时候使用到zip函数:

for i, j, k in zip(L1, L2, L3):
    print(i, j, k)
a d h
b e i
c f j

enumerate是一种特殊的打包,它可以在迭代时绑定迭代元素的遍历序号

L = list('abcd')

for index, value in enumerate(L):
    print(index, value)
0 a
1 b
2 c
3 d

用zip对象也能够简单地实现这个功能:

for index, value in zip(range(len(L)), L):
    print(index, value)
0 a
1 b
2 c
3 d

当需要对两个列表建立字典映射时,可以利用zip对象,但是dict(zip(L1, L2, L3))是错误的:

dict(zip(L1, L2))
{'a': 'd', 'b': 'e', 'c': 'f'}

既然有了压缩函数,那么Python也提供了*操作符和zip联合使用来进行解压操作:

zipped = list(zip(L1, L2, L3))

zipped
[('a', 'd', 'h'), ('b', 'e', 'i'), ('c', 'f', 'j')]
list(zip(*zipped))
[('a', 'b', 'c'), ('d', 'e', 'f'), ('h', 'i', 'j')]

二、Numpy基础

1.np数组的构造

最一般的方法时通过array来构造:

import numpy as np

np.array([1, 2, 3])
array([1, 2, 3])

下面讨论一些特殊数组的生成方式:

【a】 等差序列:np.linspace, np.arange

np.linspace(1, 5, 11) # 起始、终止(包含)、样本个数
array([1. , 1.4, 1.8, 2.2, 2.6, 3. , 3.4, 3.8, 4.2, 4.6, 5. ])
np.arange(1, 5, 2) # 起始、终止(不包含)、补偿
array([1, 3])

【b】 特殊矩阵:zeros, eye, full, ones

np.zeros((2, 3)) # 传入元组表示各维度大小
array([[0., 0., 0.],
       [0., 0., 0.]])
np.eye(3) # 3*3的单位矩阵
array([[1., 0., 0.],
       [0., 1., 0.],
       [0., 0., 1.]])
np.eye(3, k=1) # 偏移主对角线1个单位的伪单位矩阵
array([[0., 1., 0.],
       [0., 0., 1.],
       [0., 0., 0.]])
np.full((2, 3), 10) # 元组传入大小,10表示填充数值
array([[10, 10, 10],
       [10, 10, 10]])
np.full((2, 3), [1, 2, 3]) # 每行填入相同的列表
array([[1, 2, 3],
       [1, 2, 3]])
np.ones((2, 3)) # 元组传入大小
array([[1., 1., 1.],
       [1., 1., 1.]])

【c】 随机矩阵:np.random

最常用的随机生成函数为rand,randn,randint,choice,它们分别表示0-1均匀分布随机数组、标准正态的随机数组、随机整数数组和随机列表抽样:

np.random.rand(3) # 生成服从0-1均匀分布的三个随机数
array([0.97861834, 0.79915856, 0.46147936])
np.random.rand(3, 3) # 注意这里传人的不是元组,每个维度大小分开输入
array([[0.78052918, 0.11827443, 0.63992102],
       [0.14335329, 0.94466892, 0.52184832],
       [0.41466194, 0.26455561, 0.77423369]])

对于服从区间a到b上的均匀分布可以如下生成:

a, b = 5, 15
 
(b - a) * np.random.rand(3) + a
array([ 9.56150332, 10.68433949,  5.187898  ])

一般的,可以选择已有的库函数:

np.random.uniform(5, 13, 3)
array([9.94108398, 9.89676578, 9.93547197])

randn生成了 N ( 0 , 1 ) N(0, 1) N(0,1)的标准正态分布:

np.random.randn(3)
array([0.33367433, 0.15494743, 0.37816252])
np.random.randn(3, 3)
array([[-0.88778575, -1.98079647, -0.34791215],
       [ 0.15634897,  1.23029068,  1.20237985],
       [-0.38732682, -0.30230275, -1.04855297]])

对于服从方差为 σ 2 \sigma^2 σ2均值为 μ \mu μ的一元正态分布可以如下生成:

sigma, mu = 2.5, 3 # sigma为标准差

mu + np.random.randn(3) * sigma
array([-0.55004484, -1.26567548,  7.87693849])

同样的,也可以选择从已有函数生成:

np.random.normal(3, 2.5, (3, 3))
array([[ 1.72586955,  1.90481425, -0.1319884 ],
       [ 4.94372589, -1.03474462,  2.4681493 ],
       [ 0.7613336 ,  3.96725624,  1.72298716]])

randint可以指定生成随机整数的最小值最大值(不包含)和维度大小:

low, high, size = 5, 15, (2, 2) # 生成5到14的随机整数
np.random.randint(low, high, size)
array([[10,  5],
       [ 6,  7]])

choice可以从给定的列表中,以一定概率和方式抽取结果,当不指定概率时为均匀采样,默认抽取方式为又放回抽样:

my_list = ['a', 'b', 'c', 'd']

np.random.choice(my_list, 2, replace=False, p = [0.1, 0.7, 0.1, 0.1])
array(['b', 'd'], dtype='<U1')
np.random.choice(my_list, (3, 3))
array([['d', 'c', 'c'],
       ['b', 'a', 'd'],
       ['b', 'b', 'd']], dtype='<U1')

当返回的元素个数与原列表相同时,不放回抽样等价于使用permutation函数,即打散原列表:

np.random.permutation(my_list)
array(['b', 'd', 'c', 'a'], dtype='<U1')

最后,需要提到的是随机种子,它能秃顶随机数的输出结果:

np.random.seed(0)

np.random.rand()
0.5488135039273248
np.random.seed(0)

np.random.rand()
0.5488135039273248

2.np数组的变形与合并

【a】转置:T

np.zeros((2, 3)).T
array([[0., 0.],
       [0., 0.],
       [0., 0.]])

【b】合并操作:r_, c_
对于二维数组而言,r_和c_分别表示上下合并和左右合并:

np.r_[np.zeros((2, 3)), np.zeros((2, 3))]
array([[0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.],
       [0., 0., 0.]])
np.c_[np.zeros((2, 3)), np.zeros((2, 3))]
array([[0., 0., 0., 0., 0., 0.],
       [0., 0., 0., 0., 0., 0.]])

一维数组和二维数组进行合并时,应当把其视作列向量,在长度匹配的情况下之恶能够使用左右合并的c_操作:

try:
    np.r_[np.array([0, 0]), np.zeros((2, 1))]
except Exception as e:
    Err_Msg = e
Err_Msg
ValueError('all the input arrays must have same number of dimensions')
np.r_[np.array([0, 0]), np.zeros(2)]
array([0., 0., 0., 0.])
np.c_[np.array([0, 0]), np.zeros((2, 3))]
array([[0., 0., 0., 0.],
       [0., 0., 0., 0.]])

【c】维度变换:reshape

reshape能够帮助用户把原数组按照新的维度重新排列。在使用时有两种模式,分别为C模式和F模式,分别以逐行和逐列的顺序进行填充读取。

target = np.arange(8).reshape(2, 4)
target
array([[0, 1, 2, 3],
       [4, 5, 6, 7]])
target.reshape((4, 2), order='C') # 按照行读取和填充 
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])
target.reshape((4, 2), order='F') # 按照列读取和填充
array([[0, 2],
       [4, 6],
       [1, 3],
       [5, 7]])

特别地,由于被调用数组的大小时确定的,reshape允许有一个维度存在空缺,此时只需填充-1即可:

target.reshape((4, -1))
array([[0, 1],
       [2, 3],
       [4, 5],
       [6, 7]])

下面将n*1大小的数组转为1维数组的操作时经常使用的

target = np.ones((3, 1))

target
array([[1.],
       [1.],
       [1.]])
target.reshape(-1)
array([1., 1., 1.])

3.数组的切片与索引

数组的切片模式支持使用slice类型的start

上一篇:EE364b笔记


下一篇:惊呆了,Spring Boot居然这么耗内存!