如果训练的网络需要自定义loss function, 正常情况下得到的loss是三个loss的权重加和。采用的策略就是自定义了loss function + train wrapper,使用了LossMonitor来查看总的loss。假设现在想在训练过程中自定义callback函数把总的loss+三个子的loss都打印出来。那么就需要把loss function的返回值改成3个 。
-
不仅需要先自定义loss function ,还需自定义 TrainOneStepCell ,实现梯度计算时sens的个数和network的输出个数相同。
-
这里的三个输出和一个输出的区别在于:计算梯度是传给grad的数量。
-
想要边训练边验证的话,简便的方法是使用callback函数,具体可参考[evalcallback](https://www.mindspore.cn/tutorial/training/zh-CN/master/advanced_use/evaluate_the_model_during_training.html#evalcallback)。但是需要使用Model中的train方法才可以,可以用model封装自定义loss和TrainOneStepCell。
-
具体脚本信息可参考如下示例:
net = Net()
loss_fn = MyLoss()
loss_with_net = MyWithLossCell(net, loss_fn)
train_net = MyTrainOneStepCell(loss_with_net, optim)
model = Model(net=train_net, loss_fn=None, optimizer=None)