深度学习(9)：循环神经网络

2021-11-27 03:20:59

深度学习(9)：循环神经网络

2018-02-20

随深度学习技术的发展，使用循环神经网络（Recurrent Neural Network，RNN）建立的各种序列模型，使语音识别、机器翻译及自然语言理解等应用成为可能。

表示与类型

自然语言、音频等数据都是前后相互关联的数据，比如理解一句话要通过一整句而不是其中的几个词，分析一段音频要通过连续的片段而不是其中的几帧。前面所学的DNN以及CNN处理的都是前后毫无关联的一个个单独数据，对于这些序列数据则需要采用RNN进行处理。

用循环神经网络处理时间序列时，首先要对时间序列进行标记化。对一个序列数据x，用符号x⟨t⟩来表示这个序列数据中的第t个元素。这个元素的类型因数据类型而异，对一段音频，它可能其中的几帧，对一句话，它可能是一个或几个单词，如下图所示。

第i个序列数据的第t个元素用符号x(i)⟨t⟩表示，其标签用符号y(i)⟨t⟩表示。

序列中的每个元素有相应的标签，一般需要先建立一个包含序列中所有类型的元素的字典（Dictionary）。例如对上图中的句子，建立一个含有10000个单词的列向量词典，单词顺序以A~Z排列，然后根据单词在列向量中的位置，用one—hot向量来表示该单词的标签，部分表示如下图：

标记化完成后，将训练数据输入网络中。一种循环神经网络的结构如下图：

左边的网络可简单表示为右图的结构，其中元素x⟨t⟩输入对应时间步（TIme Step）的隐藏层的同时，该隐藏层也会接收上一时间步的隐藏层激活a⟨t−1⟩，其中a⟨0⟩一般直接初始化为零向量。一个时间步输出一个对应的预测结果y^⟨t⟩，输入、激活、输出有对应的参数Wax、Waa、Wy。

以上结构的前向传播过程，有：

a ⟨ 0 ⟩ = 0 ⃗

a ⟨ t ⟩ = g 1 (W a a a ⟨ t - 1 ⟩ + W a x x ⟨ t ⟩ + b a)

y^⟨ t ⟩ = g 2 (W y a ⟨ t ⟩ + b y)

其中ba、by是两个偏差参数，激活函数g1通常选择tanh，有时也用ReLU，g2的选择取决于需要的输出类型，可选sigmoid或Softmax。

具体计算中以上的式子还可以进一步简化，以方便运算。将Wax和Waa堆叠成一个矩阵Wa，a⟨t−1⟩和x⟨t⟩也堆叠成一个矩阵，有：

W a = [W a x, W a a]

a ⟨ t ⟩ = g 1 (W a [a ⟨ t - 1 ⟩, x ⟨ t ⟩] + b a)

反向传播的过程类似于深度神经网络，如下图所示：

这种结构的一个缺陷是，某一时刻的预测结果仅使用了该时刻之前输入的序列信息。根据所需的输入及输出数量，循环神经网络可分为“一对一”、“多对一”、“多对多”等结构：

这些网络结构可在不同的领域中得到应用。

RNN应用：语言模型

语言模型（Language Model）是根据语言客观事实而进行的语言抽象数学建模。例如对一个语音识别系统，输入的一段语音可能表示下面两句话：

其中的“pair”和“pear”读音相近，但是在日常表达及语法上显然这段语音是第二句的可能性要大，要使这个语音识别系统能够准确判断出第二句话为正确结果，就需要语言模型的支持。这个语言模型能够分别计算出语音表示以上两句话的概率，以此为依据做出判断。

建立语言模型所采用的训练集是一个大型的语料库（Corpus）。建立过程中，如之前所述，需要先建立一个字典，之后将语料库中每个词表示为对应的one-hot向量。此外需要额外定义一个标记EOS（End Of Sentence）表示一个句子的结尾，也可以将其中的标点符号加入字典后也用one=hot向量表示。对于语料库中部分（英语）人名、地名等特殊的不包含在字典中的词汇，可在词典中加入再用一个UNK（Unique Token）标记来表示。

将标志化后的训练集输入网络中的训练过程，如下例所示：

第一个时间步中输入的a⟨0⟩和x⟨1⟩都是零向量，y^⟨1⟩是通过softmax预测出的字典中每一个词作为第一个词出现的概率；第二个时间步中输入的x⟨2⟩是下面的训练数据中第一个单词“cats”的标签y⟨1⟩和上一层的激活a⟨1⟩,输出的y⟨2⟩表示的是单词“cats”后面出现字典中的其他词，特别是“average”的条件概率。后面的时间步与第二步类似，到最后就可以得到整个句子出现的概率。

这样，损失函数将表示为：

L (y^⟨ t ⟩, y ⟨ t ⟩) = - \sum t y ⟨ t ⟩ i l o g y^⟨ t ⟩

成本函数表示为：

J = \sum t L ⟨ t ⟩ (y^⟨ t ⟩, y ⟨ t ⟩)

训练好一个这个语言模型后，可通过采样（Sample）新的序列，来了解这个模型中都学习到了一些什么。从模型中采样出新序列的过程如下：

第一个时间步中输入的a⟨0⟩和x⟨1⟩还是零向量，依据softmax预测出的字典中每一个词作为第一个词出现的概率，选取一个词y^⟨1⟩作为第二个时间步的输入。后面与此类似，模型将自动生成一些句子，从这些句子中可发现模型通过语料库学习到的知识。

以上是基于词汇构建的语言模型，也就是所用的字典中包含的是一个个单词。实际应用中，还可以构建基于字符的语言模型，不过这种方法的结果中将得到过多过长的序列，计算成本也较大，在当今的NLP领域也用得较少。

GRU与LSTM

如下图中的句子时，后面的动词用“was”还是“were”取决于前面的名词“cat”是单数还是复数。

一般的循环神经网络不擅于捕捉这种序列中存在的长期依赖关系，其中的原因是，一般的循环神经网络也会出现类似于深度神经网络中的梯度消失问题，而使后面输入的序列难以受到早先输入序列的影响。梯度爆炸的问题也会出现，不过可以采用梯度修剪（Gradient Clipping）应对，相比之下梯度消失问题更难以解决。