背景
本人目前为大四学生，已被清华大学拟录取。
由于研究生目前初定的方向会涉及到深度学习的内容，导师说会利用pytorch进行缺陷检测等，涉及精密测量、先进制造等相关领域。因此，于毕业论文差不多初步完成之际开始自学。
为了便于知识的整理，因此打算将每一次的学习内容，整理成笔记，方便自己查看巩固，以及其他志同道合的朋友参考查阅。编译器为PyCharm，参考书籍为软件工程朋友推荐的《动手学深度学习(pytorch版），参考网址为：https://tangshusen.me/Dive-into-DL-PyTorch/#/
请大家也多多支持这一个很好用的平台~
大部分内容为书中内容，也有部分自己实验和添加的内容，如涉及侵权，会进行删除。
正文——预备知识之数据操作
一、张量创建
torch.tensor是存储和数据变换的主要工具。Tensor和NumPy的多维数组非常类似。"tensor"这个单词一般可译作“张量”，张量可以看作是一个多维数组。标量可以看作是0维张量，向量可以看作1维张量，矩阵可以看作是二维张量。
实验程序：
import torch
x1 = torch.empty(5, 3) # 生成空的未初始化矩阵，不一定都是0
print(x1)
x2 = torch.rand(5, 4) # 生成随机矩阵
print(x2)
x3 = torch.zeros(5, 4, dtype=torch.long) # 生成全零矩阵
print(x3)
x4 = torch.tensor([3, 4, 5]) # 将列表转换维tensor类型,括号内即为一个列表
print(x4)
x5 = x4.new_ones([5, 3], dtype=torch.double) # 构造全1的数组
print(x5)
x6 = torch.rand_like(x5, dtype=torch.float) # 生成相同维度的随机矩阵
print(x6.size()) # 通过shape或者size()来获取Tensor的形状
print(x6.shape)
输出：
tensor([[-6.9496e+17, 8.2396e-43, -6.9521e+17],
[ 8.2396e-43, -6.9521e+17, 8.2396e-43],
[-6.9521e+17, 8.2396e-43, -6.9505e+17],
[ 8.2396e-43, -6.9505e+17, 8.2396e-43],
[-6.9511e+17, 8.2396e-43, -6.9511e+17]])
tensor([[7.8935e-01, 9.3383e-02, 3.0014e-01, 9.6596e-01],
[2.7844e-01, 5.4451e-01, 3.6072e-01, 5.3084e-02],
[5.4204e-04, 7.0943e-01, 5.9118e-02, 8.3227e-01],
[8.9181e-01, 5.5108e-01, 1.8990e-01, 1.3730e-01],
[1.2313e-01, 1.6050e-01, 8.0627e-02, 8.3281e-01]])
tensor([[0, 0, 0, 0],
[0, 0, 0, 0],
[0, 0, 0, 0],
[0, 0, 0, 0],
[0, 0, 0, 0]])
tensor([3, 4, 5])
tensor([[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.]], dtype=torch.float64)
torch.Size([5, 3])
torch.Size([5, 3])
注意区分ones和new_ones：
Ones用法为torch.ones(size)，用于生成全1的Tensor
new_ones用法为x.new_ones(size)，相当于按照x的格式创建全1的Tensor，数据维数大小可以不一样，但返回的tensor默认具有相同的torch.dtype和torch.device
实验程序：
x1 = torch.rand(5, 3, dtype=torch.float64) # 生成空的矩阵
print(x1)
x2 = x1.new_ones(4,2)
print(x2)
输出：
tensor([[0.7335, 0.0657, 0.6401],
[0.2703, 0.3244, 0.6803],
[0.2112, 0.4806, 0.9889],
[0.4633, 0.3383, 0.0990],
[0.8081, 0.4392, 0.2116]], dtype=torch.float64)
tensor([[1., 1.],
[1., 1.],
[1., 1.],
[1., 1.]], dtype=torch.float64)
二、加法操作
实验程序：
import torch
# 加法操作
x = torch.ones([5, 3], dtype=torch.float64) # 构造全1的数组
print(x)
y = torch.rand(5, 3) # 构造随机的矩阵
print(y)
# 形式1
print(x + y)
# 形式2
print(torch.add(x, y))
# 形式2的延伸，相当于提前准备好未初始化的矩阵用以存储数据
result = torch.empty(5, 3)
torch.add(x, y, out=result)
print(result)
# 形式3，把x加到y
y.add_(x)
print(y) # 注：PyTorch操作inplace版本都有后缀_, 例如x.copy_(y), x.t_()
输出：
tensor([[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.],
[1., 1., 1.]], dtype=torch.float64)
tensor([[0.8245, 0.0606, 0.3033],
[0.3946, 0.7993, 0.4337],
[0.4153, 0.4044, 0.5313],
[0.7801, 0.9384, 0.5885],
[0.8220, 0.4210, 0.2487]])
tensor([[1.8245, 1.0606, 1.3033],
[1.3946, 1.7993, 1.4337],
[1.4153, 1.4044, 1.5313],
[1.7801, 1.9384, 1.5885],
[1.8220, 1.4210, 1.2487]], dtype=torch.float64)
tensor([[1.8245, 1.0606, 1.3033],
[1.3946, 1.7993, 1.4337],
[1.4153, 1.4044, 1.5313],
[1.7801, 1.9384, 1.5885],
[1.8220, 1.4210, 1.2487]], dtype=torch.float64)
tensor([[1.8245, 1.0606, 1.3033],
[1.3946, 1.7993, 1.4337],
[1.4153, 1.4044, 1.5313],
[1.7801, 1.9384, 1.5885],
[1.8220, 1.4210, 1.2487]])
tensor([[1.8245, 1.0606, 1.3033],
[1.3946, 1.7993, 1.4337],
[1.4153, 1.4044, 1.5313],
[1.7801, 1.9384, 1.5885],
[1.8220, 1.4210, 1.2487]])
三、索引操作
使用类似NumPy的索引操作来访问Tensor的一部分，需要注意的是：索引出来的结果与原数据共享内存，也即修改一个，另一个会跟着修改。
实验程序：
import torch
# 索引操作
x = torch.rand(5, 3) # 构造随机的矩阵
print(x)
y = x[0, :]
y += 1
print(y)
print(x[0, :]) # 源tensor也被改了
输出：
tensor([[0.1548, 0.8131, 0.6500],
[0.1102, 0.9023, 0.2479],
[0.7993, 0.7871, 0.9030],
[0.4501, 0.8379, 0.1531],
[0.3526, 0.2742, 0.0726]])
tensor([1.1548, 1.8131, 1.6500])
tensor([1.1548, 1.8131, 1.6500])
四、改变形状
注意view()返回的新Tensor与源Tensor虽然可能有不同的size，但是是共享data的，也即更改其中的一个，另外一个也会跟着改变。(顾名思义，view仅仅是改变了对这个张量的观察角度，内部数据并未改变)
实验程序：
import torch
# 改变形状操作
x = torch.rand(5, 3) # 构造随机的矩阵
print(x)
y = x.view(15)
print(y)
z = x.view(-1, 5) # -1所指的维度可以根据其他维度的值推出来，共5乘3，15个数据，15除以列数5，即为3
print(z)
print(x.size(), y.size(), z.size())
x += 1
print(x)
print(y) # 也改变了，加了1
输出：
tensor([[0.7290, 0.2468, 0.8701],
[0.1917, 0.6616, 0.3862],
[0.7022, 0.5750, 0.9600],
[0.5191, 0.5216, 0.9340],
[0.8556, 0.7966, 0.5382]])
tensor([0.7290, 0.2468, 0.8701, 0.1917, 0.6616, 0.3862, 0.7022, 0.5750, 0.9600,
0.5191, 0.5216, 0.9340, 0.8556, 0.7966, 0.5382])
tensor([[0.7290, 0.2468, 0.8701, 0.1917, 0.6616],
[0.3862, 0.7022, 0.5750, 0.9600, 0.5191],
[0.5216, 0.9340, 0.8556, 0.7966, 0.5382]])
torch.Size([5, 3]) torch.Size([15]) torch.Size([3, 5])
tensor([[1.7290, 1.2468, 1.8701],
[1.1917, 1.6616, 1.3862],
[1.7022, 1.5750, 1.9600],
[1.5191, 1.5216, 1.9340],
[1.8556, 1.7966, 1.5382]])
tensor([1.7290, 1.2468, 1.8701, 1.1917, 1.6616, 1.3862, 1.7022, 1.5750, 1.9600,
1.5191, 1.5216, 1.9340, 1.8556, 1.7966, 1.5382])
所以如果我们想返回一个真正新的副本（即不共享data内存）该怎么办呢？Pytorch还提供了一个reshape()可以改变形状，但是此函数并不能保证返回的是其拷贝，所以不推荐使用。推荐先用clone创造一个副本然后再使用view
实验程序：
import torch
# 改变形状操作
x = torch.rand(5, 3) # 构造随机的矩阵
print(x)
x_cp = x.clone().view(15)# 即在x的副本上重新排布
x -= 1
print(x)
print(x_cp) # 发现仍为原来的x重新排布，没有减1
输出：
tensor([[0.8101, 0.1689, 0.3846],
[0.5727, 0.4532, 0.7488],
[0.9889, 0.2006, 0.5058],
[0.7462, 0.0380, 0.6668],
[0.5924, 0.6542, 0.8962]])
tensor([[-0.1899, -0.8311, -0.6154],
[-0.4273, -0.5468, -0.2512],
[-0.0111, -0.7994, -0.4942],
[-0.2538, -0.9620, -0.3332],
[-0.4076, -0.3458, -0.1038]])
tensor([0.8101, 0.1689, 0.3846, 0.5727, 0.4532, 0.7488, 0.9889, 0.2006, 0.5058,
0.7462, 0.0380, 0.6668, 0.5924, 0.6542, 0.8962])
另外一个常用的函数就是item(), 它可以将一个标量Tensor转换成一个Python number：
实验程序：
import torch
# 改变形状操作
x = torch.randn(1)
print(x)
print(x.item())
输出：
tensor([0.0013])
0.0013380988966673613
五、线性代数