本次代码学习参考深度学习框架PyTorch入门与实践（陈云）

模拟线性回归

• 代码部分
• 理论部分
• • 关于本模型的前向计算和反向传播
  • 梯度下降法

代码部分

import torch as t
%matplotlib inline
from matplotlib import pyplot as plt
from IPython import display

#设置随机数种子，保证在不同计算机上运行时下面的输出一致
t.manual_seed(1000)

#传入参数：一个批次的数据量大小
def get_fake_data(batch_size=8):
    '''产生随机数据：y=x*2+3,加上了一些噪声'''
    x=t.rand(batch_size,1)*20
    y=x*2+(1+t.randn(batch_size,1))*3
    return x,y    

x,y=get_fake_data()#调用生成数据的函数
plt.scatter(x.squeeze().numpy(),y.squeeze().numpy())#显示数据的分布

#打印查看数据
print('x:\n',x)
print('y:\n',y)

#调试
#import pdb
#pdb.set_trace()

#随机初始化参数
w=t.rand(1,1) #权重
b=t.zeros(1,1) #偏置
lr=0.001 #学习率

for ii in range(2000):
    x,y=get_fake_data() #生成每次训练的数据
    
    #forward:计算loss
    y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
    '''x.mm(w)是矩阵相乘运算,
        w.size(): torch.Size([1, 1])
        x.size(): torch.Size([8, 1])'''
    
    loss=0.5*(y_pred-y)**2  #均方误差做损失函数
    loss=loss.sum() 
    
    
    #backward:手动计算梯度
    dloss=1
    dy_pred=dloss*(y_pred-y)
    
    dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
    db=dy_pred.sum()
    
    #更新参数，梯度下降法
    w.sub_(lr*dw)
    b.sub_(lr*db)
    
    if ii%200 == 0:
        #画图
        print('训练轮次:{}\t,w:{:.3f}\t,b:{:.3f}'.format(ii,w.squeeze().item(),b.squeeze().item()))#打印w，b的值,
        '''sequeeze()-降维：删去一个张量中所有长度为1的维度,
            item方法是得到只有一个元素张量里面的元素值。
        '''
        
'''这里就显示最后一个图像的结果'''
#display.clear_output(wait=True)#清空之前画图
x=(t.arange(0,20).view(-1,1)).float()#生成x的取值，这里是0~19，
y=x.mm(w)+b.expand_as(x)#生成对应的y值
plt.plot(x.numpy(),y.numpy())#预测，输出根据当前w，b计算得到的预测值
        
x2,y2=get_fake_data(batch_size=20)#随机生成真实数据
plt.scatter(x2.numpy(),y2.numpy())
        
plt.xlim(0,20)
plt.ylim(0,41)
plt.show()
plt.pause(1)#显示暂停一段时间
print('最后的w:{:.3f},b:{:.3f}'.format(w.squeeze().item(),b.squeeze().item()))#打印w，b的值,

理论部分

关于本模型的前向计算和反向传播

	#forward:计算loss
    y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
    
    loss=0.5*(y_pred-y)**2  #均方误差做损失函数
    loss=loss.sum()

	#backward:手动计算梯度
    dloss=1
    dy_pred=dloss*(y_pred-y)
    
    dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
    db=dy_pred.sum()
    
    #更新参数，梯度下降法
    w.sub_(lr*dw)
    b.sub_(lr*db) 

大概的一个数学思路（不太严谨）：

梯度下降法

关于梯度下降法这里就不过多赘述，可以参考这篇博文梯度下降算法原理讲解——机器学习