pytorch损失值nan或者model输出nan或者inf的相关问题

现象和原因分析

在能确定模型正常的情况下,可能是优化器没有设置正确,一定要加上weight decay的正则化项,和时间衰减的学习率;
也有可能是学习率太大,梯度爆炸

也可以添加权重初始化项

optimizer = torch.optim.SGD(model.parameters(), lr=params.LR, weight_decay=0.00001)
lr_scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=params.LR_steps, gamma=params.Lr_mul)
# gamma是每次的乘以学习率的系数


for epoch in range(epochs):
	lr_scheduler.step() # 更新学习率
	for images,targets in train_loader:
	
		# 计算loss
		loss = clf_loss + distil_loss
	    optimizer.zero_grad()
	    loss.backward()
	    optimizer.step()
上一篇:微信小程序wxml無法實現頁面跳轉的問題


下一篇:JQuery操作input