0 Recurrent Neural Network

1 Naive RNN

2 LSTM

peephole



Naive RNN vs LSTM

记忆更新部分的操作，Naive RNN为乘法，LSTM为加法，因此LSTM能记得更久些。

3 GRU

4 为什么LSTM这么设计？

标准形式的LSTM能工作得很好；输入门与遗忘门联动(类似GRU)以及没有peephole也能工作得很好。

输出激活函数、遗忘门很重要。