一、RNN

1.展开图

假设$x^{(t)}$为$t$时刻系统的外部驱动信号，则动态系统的状态为$h^{(t)}=f(h^{(t-1)},x^{(t)};\theta)$

 

 

 

2.网络模式

2.1 零长度输入序列

2.2 单长度输入序列

2.3 多长度输入序列

3.输出序列长度

二、训练算法

1.BPTT算法

2.Teacher forcing算法

三、长期依赖

1.长期依赖

2.多时间尺度

3.渗漏单元

4.梯度截断

5.引导信息流的正则化

 

四、常见RNN变种

1.双向RNN

2.深度RNN

3.LSTM和GRU

3.1 LSTM

3.2 GRU

4.编码-解码结构

5.attention

5.1 local attention

5.2 self attention

5.3 Hierarchical attention