Error:function ‘LogSoftmaxBackward‘ returned nan values in its 0th output.

Error:function ‘LogSoftmaxBackward’ returned nan values in its 0th output.

原因分析

产生这个问题的原因可能有几种:
1.数据中出现NAN——数据清洗
2.梯度出现NAN——梯度裁减

解决方案

模型参数出现NAN,其实也是由梯度导致的,因为初始化你不可能就NAN把,那就是更新过程出现的,那肯定是梯度导致的模型参数NAN了,所以那些:让你重新初始化、降低学习率和加正则化约束模型参数、以及往log下加1e-9(其实我感觉这个不科学,logsoftmax分母为0,除非你没有数据~)的方法都没啥用。
torch.nn.utils.clip_grad_norm_(model.parameters(), max_norm)就可以解决了。

这个问题可能是因为多层网络梯度传播爆炸了,我是训练着训练着模型就bug了,然后我把查过的方法都试过了没啥用,用torch.isnan(param).int().sum() !=0这个判断准则把输入、梯度都检查了一遍,最后得到的解决方案。

上一篇:linux – 从源代码编译新的二进制文件时会发生什么?


下一篇:编译 – Pip安装 – 您选择的CPU不支持x86-64指令集