神经元网络：M-P神经元模型

神经元接收来自其他n个神经元传递过来的信号，这些信号通过有权重的连接进行传递，神经元接收到的总输入值将与神经元的阈值进行对比，通过激活函数的处理产生神经元的输出。

感知机与多层网络

感知机：由两层神经元组成，输入层传递信号给输出层，输出层是M-P神经元。只有输出层进行激活函数处理，拥有一层功能神经元。不能解决异或、非线性可分的问题。

多层网络：隐藏层和输出层均拥有激活函数的功能神经元。

PS：常见的神经网络是层级结构，即每层神经元与下一层神经元互连，神经元之间不存在同层连接，也不存在跨层连接，也称为多层前馈神经网络。前馈是指网络拓扑结构上不存在环或者回路。

神经网络的学习过程，就是学习连接权值和阈值的过程。

误差逆传播算法（BP）

不仅可以用于多层前馈神经网络，还可以用于其他类型的神经网络（如：训练递归神经网络）

BP是迭代学习算法，在每一轮迭代中采用广义的感知机学习规则对参数进行更新估计。基于梯度下降策略，以目标的负梯度方向对参数进行调整，由于强大的表示能力，因此用以过拟合。

标准的BP算法，每次仅针对一个训练样例更新连接权和阈值。

累积BP算法，直接针对累积误差最小化，读取整个训练集之后对参数更新。

存在的问题：如何设置隐层神经元的个数。实际中，往往通过试错法调整。

解决过拟合的策略：早停、正则化

全局最小和局部极小

跳出局部最小的方法：

• 利用多组不同参数值初始化多个神经元网络，相当于从多个初始点开始搜索。
• 模拟退火
• 随机梯度下降
• 遗传算法

跳出局部极小的技术大多是启发式，理论上缺乏保障。

常见的其他神经网络：

• RBF径向基函数网络；
• ART自适应谐振理论网络，属于竞争性学习网络，是无监督学习，可塑性稳定性好；
• SOM自组织映射网络，属于竞争性学习网络，是无监督学习；
• 联级相关网络，即结构自适应网络
• Elman网络，属于递归神经网络，允许网络有环形结构。
• Boltzmann网络，基于能量的模型，属于递归神经网络

深度学习

一般复杂模型训练效率低，容易陷入过拟合，深度学习使得训练数据大幅增加，降低过拟合风险。

增加隐藏层数目比增加隐藏层神经元更有效，多层神经网络难以直接利用BP算法，因为误差在多个隐藏层传递，使得处于发散而不能收敛的状态。无监督逐层训练时多隐藏层网络训练的主要方法，即预训练+微调，另一种方法是权值共享，即让一组神经元使用相同的连接权。