简单易懂的线性回归模型训练

本次代码学习参考深度学习框架PyTorch入门与实践(陈云)

模拟线性回归

代码部分

import torch as t
%matplotlib inline
from matplotlib import pyplot as plt
from IPython import display

#设置随机数种子,保证在不同计算机上运行时下面的输出一致
t.manual_seed(1000)

#传入参数:一个批次的数据量大小
def get_fake_data(batch_size=8):
    '''产生随机数据:y=x*2+3,加上了一些噪声'''
    x=t.rand(batch_size,1)*20
    y=x*2+(1+t.randn(batch_size,1))*3
    return x,y    
x,y=get_fake_data()#调用生成数据的函数
plt.scatter(x.squeeze().numpy(),y.squeeze().numpy())#显示数据的分布

简单易懂的线性回归模型训练

#打印查看数据
print('x:\n',x)
print('y:\n',y)

简单易懂的线性回归模型训练

#调试
#import pdb
#pdb.set_trace()

#随机初始化参数
w=t.rand(1,1) #权重
b=t.zeros(1,1) #偏置
lr=0.001 #学习率

for ii in range(2000):
    x,y=get_fake_data() #生成每次训练的数据
    
    #forward:计算loss
    y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
    '''x.mm(w)是矩阵相乘运算,
        w.size(): torch.Size([1, 1])
        x.size(): torch.Size([8, 1])'''
    
    loss=0.5*(y_pred-y)**2  #均方误差做损失函数
    loss=loss.sum() 
    
    
    #backward:手动计算梯度
    dloss=1
    dy_pred=dloss*(y_pred-y)
    
    dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
    db=dy_pred.sum()
    
    #更新参数,梯度下降法
    w.sub_(lr*dw)
    b.sub_(lr*db)
    
    if ii%200 == 0:
        #画图
        print('训练轮次:{}\t,w:{:.3f}\t,b:{:.3f}'.format(ii,w.squeeze().item(),b.squeeze().item()))#打印w,b的值,
        '''sequeeze()-降维:删去一个张量中所有长度为1的维度,
            item方法是得到只有一个元素张量里面的元素值。
        '''
        
'''这里就显示最后一个图像的结果'''
#display.clear_output(wait=True)#清空之前画图
x=(t.arange(0,20).view(-1,1)).float()#生成x的取值,这里是0~19,
y=x.mm(w)+b.expand_as(x)#生成对应的y值
plt.plot(x.numpy(),y.numpy())#预测,输出根据当前w,b计算得到的预测值
        
x2,y2=get_fake_data(batch_size=20)#随机生成真实数据
plt.scatter(x2.numpy(),y2.numpy())
        
plt.xlim(0,20)
plt.ylim(0,41)
plt.show()
plt.pause(1)#显示暂停一段时间
print('最后的w:{:.3f},b:{:.3f}'.format(w.squeeze().item(),b.squeeze().item()))#打印w,b的值,

简单易懂的线性回归模型训练

理论部分

简单易懂的线性回归模型训练

关于本模型的前向计算和反向传播

	#forward:计算loss
    y_pred=x.mm(w)+b.expand_as(y) #根据当前得到的w和b计算得出预期的y,
    
    loss=0.5*(y_pred-y)**2  #均方误差做损失函数
    loss=loss.sum()

	#backward:手动计算梯度
    dloss=1
    dy_pred=dloss*(y_pred-y)
    
    dw=x.t().mm(dy_pred) #x.t()是求矩阵的转置
    db=dy_pred.sum()
    
    #更新参数,梯度下降法
    w.sub_(lr*dw)
    b.sub_(lr*db) 

大概的一个数学思路(不太严谨):
简单易懂的线性回归模型训练

梯度下降法

关于梯度下降法这里就不过多赘述,可以参考这篇博文梯度下降算法原理讲解——机器学习

上一篇:Android关于沉浸式状态栏总结


下一篇:短视频app源码,连麦时最小化出现可移动悬浮窗