Error:function ‘LogSoftmaxBackward’ returned nan values in its 0th output.
原因分析
产生这个问题的原因可能有几种:
1.数据中出现NAN——数据清洗
2.梯度出现NAN——梯度裁减
解决方案
模型参数出现NAN,其实也是由梯度导致的,因为初始化你不可能就NAN把,那就是更新过程出现的,那肯定是梯度导致的模型参数NAN了,所以那些:让你重新初始化、降低学习率和加正则化约束模型参数、以及往log下加1e-9(其实我感觉这个不科学,logsoftmax分母为0,除非你没有数据~)的方法都没啥用。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)就可以解决了。
这个问题可能是因为多层网络梯度传播爆炸了,我是训练着训练着模型就bug了,然后我把查过的方法都试过了没啥用,用torch.isnan(param).int().sum() !=0这个判断准则把输入、梯度都检查了一遍,最后得到的解决方案。