RNN善于处理时序 序列数据

简单RNN

展开就是

LSTM

 遗忘门f_t决定上期记忆保留多少

隐藏层

在神经网络中，隐藏层指的是除了输入层和输出层之外的层，它们的输出不会直接用于网络的最终输出，而是作为中间步骤用于提取和转换数据。因此，如：卷积层作为一种在输入和输出之间的处理层，被归类为隐藏层。

隐状态

X_t符号含义

反向传播以求梯度 前向传播以求输出

信息论

信息熵

交叉熵损失函数

可以由信息熵推广而来，也可以通过极大似然的推导而来

 

softmax

然后选最大的，详见DL Softmax，多层感知机，卷积【0】_softmax与多层感知机的对比-****博客 

概率论

极大似然

数据集中，每个点的概率密度函数之积最小（即约≈p(X)），求导=0求参数，叫做参数的极大似然估计