现象和原因分析
在能确定模型正常的情况下,可能是优化器没有设置正确,一定要加上weight decay的正则化项,和时间衰减的学习率;
也有可能是学习率太大,梯度爆炸
也可以添加权重初始化项。
optimizer = torch.optim.SGD(model.parameters(), lr=params.LR, weight_decay=0.00001)
lr_scheduler = torch.optim.lr_scheduler.MultiStepLR(optimizer, milestones=params.LR_steps, gamma=params.Lr_mul)
# gamma是每次的乘以学习率的系数
for epoch in range(epochs):
lr_scheduler.step() # 更新学习率
for images,targets in train_loader:
# 计算loss
loss = clf_loss + distil_loss
optimizer.zero_grad()
loss.backward()
optimizer.step()