DL：神经网络所有模型(包括DNN、CNN、RNN等)的简介(概览)、网络结构简介、使用场景对比之详细攻略
目录
神经网络所有模型的简介及其总结
FF【前馈神经网络】和 RNN【循环神经网络】是相对的概念。backpropagation是一类训练方法。
神经网络所有模型的简介(概览)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(一)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(二)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(三)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(四)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(五)
DL：深度学习算法(神经网络模型集合)概览之《THE NEURAL NETWORK ZOO》的中文解释和感悟(六)
神经网络算法之DNN、CNN、RNN使用场景对比
1、DNN：基于全连接层【Affine层】的网络的例子
全连接的神经网络中，【Affine层】后跟着【激活函数层,ReLU或Sigmoid】。这里堆叠了4 层【Affine→ReLU】组合，然后第5层是【Affine层】，最后由【Softmax层】输出最终结果（概率）。
2、CNN：新增了【Convolution层】和【Pooling层】，图中用灰色的方块表示
CNN 中新增了【Convolution层】、【Pooling层】。CNN 的层的连接顺序是【Convolution→ReLU→(Pooling)】（Pooling 层有时会被省略）。这可以理解为之前的【Affine→ReLU】连接被替换成了【Convolution→ReLU→(Pooling)】连接。还需要注意的是，图中CNN，靠近输出的层(倒数第二层)中使用了之前的【Affine→ReLU】组合。此外，最后的输出层中使用了之前的【Affine→Softmax】组合。这些都是一般的CNN中比较常见的结构。