循环神经网络(RNN)

NLP,语音识别,翻译

1 RNN基本概念

1.1 循环神经网络模型

循环神经网络(RNN)
循环神经网络(RNN)

1.2 通过时间的反向传播

循环神经网络(RNN)

1.3 不同类型的RNN

循环神经网络(RNN)

1.4 RNN的缺点

缺点1:只利用了前文信息,没利用后文信息。
解决方法:BRNN(双向循环神经网络)

缺点2:梯度消失,即前后文距离较远时难以记住。
解决方法:GRU(Gate Recurrent Unit,门控循环单元),LSTM(长短期记忆)

1.5 Deep RNN

循环神经网络(RNN)

循环神经网络(RNN)循环神经网络(RNN) 李豪呀 发布了60 篇原创文章 · 获赞 41 · 访问量 2万+ 私信 关注
上一篇:循环神经网络(RNN)


下一篇:深度学习在NLP领域的发展(一)