文章目录

• • seq2seq
  • 相关资料

---

RNN: recurrent neural network，递归（循环）神经网络

---

优点

• 输入是多个且有序的，可以模拟人类阅读的顺序 去读取文本或别的序列化数据。
• 通过隐藏层神经元的编码，上一个隐藏层神经元的信息，可以传递到下一个隐藏层神经元，因而形成一定记忆能力，能够更好理解序列化数据。

---

RNN

• 单输入，多输出
  应用于输入图像，输出描述该图像的文本
• 多输入，多输出
  • 输入输出等长
    用途比较狭隘。比如诗文，作诗机器人。
  • 输入输出不等长
    比如翻译机器人。输入中文、输出英文。

---

seq2seq

小瑕疵：解码器 decoder 的输入都是译码器 encoder 的同一个输出。
也就是说，不管输入语句是什么，编码器 encoder 都会将它转换成同一个中间语义 h。但是一句话是有重点的，因此 attention 机制应运而生。

---

attention 机制下的 seq2seq 模型 输入不再是直接的序列输入，而是经过编码器encoder 转换的中间语义C。
而这些输入C 也各不相同，每一个C 都是由权重w 和 译码器的隐藏层输出h 加权组成。

---

Decorder 向量解码

---

相关资料

• 阿力阿哩哩：20分钟掌握RNN与LSTM原理及其结构应用（Seq2Seq & Attention）
  https://www.bilibili.com/video/BV1o4411R7B1
  -【深度学习】seq2seq模型/Encoder-Decoder模型及数学原理讲解
  https://www.bilibili.com/video/BV1d4411R72S