什么是梯度消失?怎么解决?

累乘中一个梯度小于1,那么不断累乘,这个值会越来越小,梯度衰减很大,迅速接近0。

在神经网络中是离输出层近的参数,梯度越大,远的参数,梯度越接近0。

根本原因是sigmoid函数的缺陷。

方法:

1、好的初始化方法,逐层预训练,后向传播微调。

2、换激活函数,用relu,leaky——relu。靠的是使梯度靠近1或等于1,避免了在累乘过程中,结果迅速衰减。

上一篇:猫狗大战


下一篇:深度学习之激活函数