【论文收集】几种经典神经网络及其模型

1、前馈神经网络(feedforward neural network,FNN)

感知器网络

感知器(又叫感知机)是最简单的前馈网络,它主要用于模式分类,也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。

BP网络

BP网络是指连接权调整采用了反向传播(Back Propagation)学习算法的前馈网络。与感知器不同之处在于,BP网络的神经元变换函数采用了S形函数(Sigmoid函数),因此输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。

径向基神经网络(RBF)

RBF网络是指隐含层神经元由RBF神经元组成的前馈网络。RBF神经元是指神经元的变换函数为RBF(Radial Basis Function,径向基函数)的神经元。典型的RBF网络由三层组成:一个输入层,一个或多个由RBF神经元组成的RBF层(隐含层),一个由线性神经元组成的输出层。

2、卷积神经网络(Convolutional Neural Networks, CNN)

LeNet-5

AlexNet

ZFNet

VGGNet

GoogleNet Inception

ResNet

DenseNet

SENet

3、循环神经网络(Recurrent Neural Network, RNN)

我们通常所说的RNN实际上有两种:

  • 一种是Recurrent Neural Networks,即循环神经网络,
  • 一种是Recursive Neural Networks,即递归神经网络。

循环神经网络是首先被提出的,它是一种时间上进行线性递归的神经网络,也就是我们通常所说的RNN。

递归神经网络(recursive neural network)被视为循环神经网络(recurrent neural network)的推广,这是一种在结构上进行递归的神经网络,常用于自然语言处理中的序列学习,它的输入数据本质不一定是时序的,但结构却往往更加复杂,我们这里只说循环神经网络。

双向RNN(Bidirectional recurrent neural networks)

  • 提出时间:1997

深度双向RNN(Deep Bidirectional recurrent neural networks)

长短期记忆网络(Long Short-Term Memory networks, LSTM)

  • 提出时间:1997
  • 论文:《Long Short-Term Memory》
  • 论文地址:

门控循环单元网络(Gated Recurrent Unit networks, GRU)

  • 提出时间:2014
  • 论文:《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》
  • 论文地址:https://arxiv.org/pdf/1406.1078.pdf

4、深度信念网络(Deep Belief Networks,DBN)

玻尔兹曼机(Boltzmann Machine,BM)

受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)

4、生成对抗网络(Generative Adversarial Networks,GAN)

上一篇:itext7 研究 结果 实在研究不下去了没有itext5用着顺手 好的一点是 字体支持小数


下一篇:技术解密 |阿里云多媒体 AI 团队拿下 CVPR2021 5 冠 1 亚成绩的技术分享