一、简单数学操作

1、逐元素操作

t.clamp(a,min=2,max=4)近似于tf.clip_by_value(A, min, max),修剪值域。

a = t.arange(0,6).view(2,3)

print("a:",a)

print("t.cos(a):",t.cos(a))

print("a % 3:",a % 3)  # t.fmod(a, 3)

print("a ** 2:",a ** 2)  # t.pow(a, 2)

print("t.clamp(a, min=2, max=4)",t.clamp(a,min=2,max=4))

a:

 0  1  2

 3  4  5

[torch.FloatTensor of size 2x3]

t.cos(a):

 1.0000  0.5403 -0.4161

-0.9900 -0.6536  0.2837

[torch.FloatTensor of size 2x3]

a % 3:

 0  1  2

 0  1  2

[torch.FloatTensor of size 2x3]

a ** 2:

  0   1   4

  9  16  25

[torch.FloatTensor of size 2x3]

t.clamp(a, min=2, max=4)

 2  2  2

 3  4  4

[torch.FloatTensor of size 2x3]

2、归并操作

b = t.ones(2,3)

print("b.sum():",b.sum(dim=0,keepdim=True))

print("b.sum():",b.sum(dim=0,keepdim=False))

b.sum():

 2  2  2

[torch.FloatTensor of size 1x3]

b.sum():

 2

 2

 2

[torch.FloatTensor of size 3]

cumsum和cumprob（累加和累乘）属于特殊的归并，结果相对于输入并没有降维。

3、比较操作

之前有说过，t.max用法较为特殊；而a.topk是个对于深度学习很是方便的函数。

a = t.linspace(0,15,6).view(2,3)

print("a:",a)

print("a.sort(2):\n",a.sort(dim=1))  # 在某个维度上排序

print("a.topk(2):\n",a.topk(2,dim=1))  # 在某个维度上寻找top-k

print("t.max(a):\n",t.max(a))  # 不输入dim的话就是普通的max

print("t.max(a,dim=1):\n",t.max(a,dim=1))  # 输入dim的话就会集成argmax的功能

a:

  0   3   6

  9  12  15

[torch.FloatTensor of size 2x3]

a.sort(2):

 (

  0   3   6

  9  12  15

[torch.FloatTensor of size 2x3]

,

 0  1  2

 0  1  2

[torch.LongTensor of size 2x3]

)

a.topk(2):

 (

  6   3

 15  12

[torch.FloatTensor of size 2x2]

,

 2  1

 2  1

[torch.LongTensor of size 2x2]

)

t.max(a):

 15.0

t.max(a,dim=1):

 (

  6

 15

[torch.FloatTensor of size 2]

,

 2

 2

[torch.LongTensor of size 2]

)

二、Numpy和Tensor

1、数组和张量内存共享

import numpy as np

# 数组和Tensor互换

a = t.ones(2,3)

b = a.numpy()

c = t.from_numpy(b)

c[0,0] = 0

print(a)

 0  1  1

 1  1  1

[torch.FloatTensor of size 2x3]

2、广播原理及模拟

# 广播法则

# 1.所有数组向shape最长的数组看齐，不足的在前方补一

# 2.两个数组要么在某个维度长度一致，要么一个为一，否则不能计算

# 3.对长度为一的维度，计算时复制元素扩充至和此维度最长数组一致

a = t.ones(3,2)

b = t.ones(2,3,1)

print(a + b)  # 先a->（1,3,2）然后a,b->（2,3,2）

(0 ,.,.) =

  2  2

  2  2

  2  2

(1 ,.,.) =

  2  2

  2  2

  2  2

[torch.FloatTensor of size 2x3x2]

使用尺寸调整函数模拟广播过程如下，

# 手工复现广播过程

# expend可以扩张维度的数字大小，repeat类似，但是expend不会复制数组内存，节约空间

# 被扩充维度起始必须是1才行

print(a.unsqueeze(0).expand(2,3,2) + b.expand(2,3,2))

print(a.view(1,3,2).expand(2,3,2) + b.expand(2,3,2))

(0 ,.,.) =

  2  2

  2  2

  2  2

(1 ,.,.) =

  2  2

  2  2

  2  2

[torch.FloatTensor of size 2x3x2]

(0 ,.,.) =

  2  2

  2  2

  2  2

(1 ,.,.) =

  2  2

  2  2

  2  2

[torch.FloatTensor of size 2x3x2]

3、expand方法

我们来看看expand方法，它要求我们的被扩展维度为1才行(如下)，如果不是1则扩展失败。

expand方法不会复制数组，不会占用额外空间，只有在需要时才进行扩展，很节约内存。

a = t.ones(1)

print(a.shape)

b = a.expand(6)

a = 2

print(a)

torch.Size([1])

2

 1

 1

 1

 1

 1

 1

[torch.FloatTensor of size 6]