pytorch的基本知识

非常感谢,datawhale提供的课程资源:https://www.bilibili.com/video/BV1e341127Lt?p=2
以下是这个课程的笔记

一、tensor的属性:

type:float,long,
device的属性:用什么卡,比如CPU,GPU
requires_grad属性:是否支持求导
pin_memory属性:是否塞到内存里面,运算快,但是内存高
is_leaf:是否是叶子节点,不是就继续往前传,是就终止

创建tensor,用dtype指定类型。注意类型要匹配

> a = torch.tensor(1.0, dtype=torch.float) 
> b = torch.tensor(1,dtype=torch.long) 
> #这个int和1.0显然是不匹配的,最好不要这么写
> c = torch.tensor(1.0, dtype=torch.int8)
>  print(a, b,c)

使用指定类型函数随机初始化指定大小的tensor

d = torch.FloatTensor(2,3)
e = torch.IntTensor(2)
 #对于python已经定义好的数据结构可以直接转换.下面的这个是一个列表,
 #list转成整型tensor.只是数据存储的格式变了,但实际还是个List
f = torch.IntTensor([1,2,3,4]) 
print(d, '\n', e, '\n', f) 

tensor和numpy array之间的相互转换

import numpy as np
g = np.array([[1,2,3],[4,5,6]])
h = torch.tensor(g)
print(h)
i = torch.from_numpy(g)
print(i)
j = h.numpy()
print(j)

常见的构造Tensor的函数

k = torch.rand(2, 3) 
l = torch.ones(2, 3)
m = torch.zeros(2, 3)
#arange就是一个步长之类的,起始点0,步骤2,终点10
#这里是1维的张量
n = torch.arange(0, 10, 2)
print(k, '\n', l, '\n', m, '\n', n)

查看tensor的维度信息(两种方式)

print(k.shape)
print(k.size())

tensor的运算

o = torch.add(k,l)
print(o)

tensor的索引方式与numpy类似

print(o[:,1])
print(o[0,:])

重要:改变tensor形状的神器:view

#就是想看3行两列,怎么排列的呢,就是o矩阵从第一行开始排列过来的
print(o.view((3,2)))
#这里的-1表示不确定行数,但是我知道列数,计算机帮你排列
print(o.view(-1,2))

tensor的广播机制(使用时要注意这个特性)
我们注意最后一行,它是p+q。按道理是没办法相加的,但是我们可以自己复制粘贴,凑好数

p = torch.arange(1, 3).view(1, 2)
print(p)
q = torch.arange(1, 4).view(3, 1)
print(q)
print(p + q)

重要:扩展&压缩tensor的维度:squeeze
unsqueeze是增加维度,加的维度是空的,1代表第二个维度,0代表第一个维度
squeeze表示的是压缩维度,只能压缩之前增加的维度

print(o)
r = o.unsqueeze(1)
print(r)
print(r.shape)

二、自动求导

1.PyTorch实现模型训练
2.输入数据,正向传播
3同时创建计算图
4计算损失函数
5损失函数反向传播
6更新模型参数

●Tensor数据结构是实现自动求导的基础
pytorch的基本知识
PyTorch自动求导提供了计算雅克比乘积的工具
损失函数l对输出y的导数是:
pytorch的基本知识

那么l对输入x的导数就是:
pytorch的基本知识
2.2自动求导一动态计算图 (DCG)
张量和运算结合起来创建动态计算图
就是由这样的一个计算图,知道z是由哪里算来的
pytorch的基本知识
2.2自动求导-扩展
静态图和动态图
主要区别在是否需要预先定义计算图的结构
下面的图,左边是静态的,就是说模型是固定好的,再计算。右边是不需要预先定义,边计算边定义图。
pytorch的基本知识

第二部分:自动求导示例

import torch

x1 = torch.tensor(1.0, requires_grad=True)
x2 = torch.tensor(2.0, requires_grad=True)
y = x1 + 2*x2
print(y)

首先查看每个变量是否需要求导

print(x1.requires_grad)
print(x2.requires_grad)
print(y.requires_grad)

查看每个变量导数大小。此时因为还没有反向传播,因此导数都不存在

print(x1.grad.data)
print(x2.grad.data)
print(y.grad.data)

out:
AttributeError: ‘NoneType’ object has no attribute ‘data’

反向传播后看导数大小

y = x1 + 2*x2
y.backward()
print(x1.grad.data)
print(x2.grad.data)

out:
tensor(1.)
tensor(2.)

导数是会累积的,重复运行相同命令,grad会增加,会影响你的值。所以要注意不要重复运行命令,到后面可以利用一个函数进行清零,不会有累加(每次计算前需要清除当前导数值避免累积,这一功能可以通过pytorch的optimizer实现。后续会讲到)

y = x1 + 2*x2
y.backward()
print(x1.grad.data)
print(x2.grad.data)

尝试,如果不允许求导,会出现什么情况?
就会报错,因为不让求导,反向传播不能进行

# 
x1 = torch.tensor(1.0, requires_grad=False)
x2 = torch.tensor(2.0, requires_grad=False)
y = x1 + 2*x2
y.backward()

out:
untimeError: element 0 of tensors does not require grad and does not have a grad_fn

并行计算:

(1)优点:
能计算-显存占用
算得快-计算速度
效果好-大batch提升训练效果

(2)怎么并行?一CUDA
GPU厂商NVIDIA提供的GPU计算框架
GPU本身的编程基于CUDA语言实现
在PyTorch中,CUDA的含义有所不同
更多的指使用GPU进行计算(而不是CPU )

(3)并行的方法
网络结构分布到不同设备中(Network Partitioning)
pytorch的基本知识

同一层的任务分布到不同数据中(Layer-wise Partitioning)
pytorch的基本知识

(常用的)不同数据分布到不同的设备中(Data Parallelism)

pytorch的基本知识
(4)cuDNN与CUDA
cuDNN是用于深度神经网络的加速库
cuDNN基于CUDA完成深度学习的加速

上一篇:Linux Ubuntu 添加新用户


下一篇:羽夏看Win系统内核——同步篇