1、前馈神经网络(feedforward neural network,FNN)
感知器网络
感知器(又叫感知机)是最简单的前馈网络,它主要用于模式分类,也可用在基于模式分类的学习控制和多模态控制中。感知器网络可分为单层感知器网络和多层感知器网络。
BP网络
BP网络是指连接权调整采用了反向传播(Back Propagation)学习算法的前馈网络。与感知器不同之处在于,BP网络的神经元变换函数采用了S形函数(Sigmoid函数),因此输出量是0~1之间的连续量,可实现从输入到输出的任意的非线性映射。
径向基神经网络(RBF)
RBF网络是指隐含层神经元由RBF神经元组成的前馈网络。RBF神经元是指神经元的变换函数为RBF(Radial Basis Function,径向基函数)的神经元。典型的RBF网络由三层组成:一个输入层,一个或多个由RBF神经元组成的RBF层(隐含层),一个由线性神经元组成的输出层。
2、卷积神经网络(Convolutional Neural Networks, CNN)
LeNet-5
- 论文:《LeNet-5, convolutional neural networks》
- 论文地址:http://yann.lecun.com/exdb/lenet/
AlexNet
- 提出时间:2012/9
- Top-1 准确率:62.5%
- 论文:《ImageNet Classification with Deep Convolutional Neural Networks》
- 论文地址:https://papers.nips.cc/paper/4824-imagenet-classification-with-deep-convolutional-neural-networks.pdf
ZFNet
- 提出时间:2013/11
- Top-1 准确率:64%
- 论文地址:https://arxiv.org/pdf/1311.2901v3.pdf
VGGNet
- 提出时间:2014/9
- Top-1 准确率:74%
- 论文:《Very Deep Convolutional Networks for Large-Scale Visual
Recognition》 - 论文地址:https://www.robots.ox.ac.uk/~vgg/research/very_deep/
GoogleNet Inception
- Inception v1
- 提出时间:2014/9
- Top-1 准确率:69.8%
- 论文:《Going deeper with convolutions》
- 论文地址:https://arxiv.org/pdf/1409.4842.pdf
- Inception v2
- 论文:《Batch Normalization》
- 论文地址https://arxiv.org/pdf/1502.03167.pdf
- Inception v3
- 提出时间:2015/12
- Top-1 准确率:78.8%
- 论文:《Rethinking the Inception Architecture for Computer Vision》
- 论文地址:https://arxiv.org/pdf/1512.00567.pdf
- Inception v4
- 论文:《Inception-v4, Inception-ResNet》
- 论文地址:https://arxiv.org/pdf/1602.07261.pdf
ResNet
- 提出时间:2015/12
- Top-1 准确率:78.6%
- 论文:《Deep Residual Learning for Image Recognition》
- 论文地址:https://arxiv.org/pdf/1512.03385.pdf
DenseNet
- 提出时间:2016/8
- Top-1 准确率:79.2%
- 论文:《Densely Connected Convolutional Networks》
- 论文地址:https://arxiv.org/pdf/1608.06993.pdf
- GitHub:https://github.com/liuzhuang13/DenseNet
SENet
- 论文:《Squeeze-and-Excitation Networks》
- 论文地址:https://arxiv.org/pdf/1709.01507.pdf
3、循环神经网络(Recurrent Neural Network, RNN)
我们通常所说的RNN实际上有两种:
- 一种是Recurrent Neural Networks,即循环神经网络,
- 一种是Recursive Neural Networks,即递归神经网络。
循环神经网络是首先被提出的,它是一种时间上进行线性递归的神经网络,也就是我们通常所说的RNN。
递归神经网络(recursive neural network)被视为循环神经网络(recurrent neural network)的推广,这是一种在结构上进行递归的神经网络,常用于自然语言处理中的序列学习,它的输入数据本质不一定是时序的,但结构却往往更加复杂,我们这里只说循环神经网络。
双向RNN(Bidirectional recurrent neural networks)
- 提出时间:1997
深度双向RNN(Deep Bidirectional recurrent neural networks)
长短期记忆网络(Long Short-Term Memory networks, LSTM)
- 提出时间:1997
- 论文:《Long Short-Term Memory》
- 论文地址:
门控循环单元网络(Gated Recurrent Unit networks, GRU)
- 提出时间:2014
- 论文:《Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation》
- 论文地址:https://arxiv.org/pdf/1406.1078.pdf
4、深度信念网络(Deep Belief Networks,DBN)
- 提出时间:2006
- 论文1:《A fast learning algorithm for deep belief nets》
- 论文地址:http://www.cs.toronto.edu/~hinton/absps/ncfast.pdf
- 论文2:《http://www.cs.toronto.edu/~hinton/science.pdf》
- 论文地址:http://www.cs.toronto.edu/~hinton/science.pdf
玻尔兹曼机(Boltzmann Machine,BM)
受限玻尔兹曼机(Restricted Boltzmann Machine,RBM)
4、生成对抗网络(Generative Adversarial Networks,GAN)
- 提出时间:2014
- 论文:《Generative Adversarial Nets》
- 论文地址:https://arxiv.org/pdf/1406.2661v1.pdf