长短期记忆网络LSTM

长短期记忆网络引入了 存储单元(memory cell),或简称为 单元(cell)。有些文献认为存储单元是隐藏状态的一种特殊类型,它们与隐藏状态具有相同的形状,其设计目的是用于记录附加的信息。为了控制存储单元,需要三门

(1)忘记门(重置单元的内容)、输入门(决定何时将数据读入单元)、输出门(从单元中读出条目)

长短期记忆网络LSTM

 (2)候选记忆单元

长短期记忆网络LSTM

 (3)记忆单元

长短期记忆网络LSTM

 (4)隐藏状态

长短期记忆网络LSTM

 长短期记忆网络LSTM

 

上一篇:LSTM学习


下一篇:Transformer自下而上理解(3) Self-attention机制