I . 神经网络 ( Neural Networks ) 简介

神经网络简介 :

1 . 神经网络组成 : 由 一组 连接的 输入 和 输出单元 组成 , 每个连接都有一个 权值 ( 系数 ) ;

2 . 神经网络本质 : 神经网络本质是一种特殊的 有向图 , 有向图由 节点 和 有向弧 组成 , 节点就是 神经元 , 有向弧就是神经元单元之间的 连接 ;

3 . 神经元分层 : 神经网络中的神经元由多层组成 , 层间的神经元单元没有连接 , 神经元单元只能连接相邻的两层 ( 上层 / 下层 ) 中的神经元单元 ;

4 . 学习过程 : 学习过程中 , 调整每个连接的 权值 , 使 神经网络 预测分类 的准确性 逐步提高 ; 开始时给一组默认的初始权值 , 学习过程中 , 逐步调整 , 使其与真实数据进行拟合 , 逐步提高其预测准确性 ;

5 . 连接者学习 : 学习过程是调节单元之间的连接的权值的过程 , 神经网络学习 又称为 连接者学习 ;

6 . 神经网络基础 : 模拟大脑中 神经元 数学模型 , 以该模型为基础建立神经网络 , 每个 输入 / 输出 单元 都是一个 神经元 , 单元之间互相连接 , 并且每个连接都有不同的 权重属性 ;

7 . 信息处理模型 : 神经元 是一个 多输入 , 单输出 , 的 信息处理单元 , 根据其该特性 , 将神经元抽象成该特征的数学模型 ;

II . 神经网络三要素

神经网络三要素 : ① 拓扑结构 , ② 连接方式 , ③ 学习规则 ; 根据上述三要素的特征 , 对神经网络进行分类 ;

III . 神经网络拓扑结构

神经网络拓扑结构 :

① 根据层数分类 : 按照层次排列神经网络单元 , 根据该神经网络排列的层次数 , 可以分为 单层神经网络 , 两层神经网络 , ⋯ \cdots⋯ , N NN 层神经网络 ;

② 神经网络结构 与 性能 : 结构越简单 , 学习时参数收敛速度快 , 代价是准确度低 ;

③ 神经网络复杂度 : 神经网络的层数 , 每层单元数 , 由问题复杂程度决定 , 越复杂的问题 , 层数及每层单元数就越多 ;

④ 针对线性问题的神经网络 : 使用两层神经网络可解决 ;

⑤ 针对多元非线性问题的神经网络 : 需要使用多层神经网络解决 ;

IV . 神经网络连接方式

1 . 神经网络连接强度 : 神经网络层次间的连接 , 和层次内部的连接 , 每个连接都有一个强度 , 用 权 表示该强度 ;

2 . 根据层次间连接方式对神经网络进行分类 :

① 前馈式网络 : 该连接是单向连接 , 前一层单元输出 是 后一层单元输入 ; 如 Kohonen 网络 , 反向传播网络 ;

② 反馈式网络 : 在前馈式网络基础上 , 将最后一层单元的输出继续作为第一层单元的输入 ; 如 , Hopfield 网络 ;

3 . 根据连接范围对神经网络分类 :

① 全连接神经网络 : 每一层中的单元 , 与前一层的 所有单元 , 后一层的 所有单元 , 都连接起来 ;

② 局部连接神经网络 : 每一层的单元 , 与前一层的 部分单元 , 后一层的 部分单元 , 都连接起来 ;

V . 神经网络学习规则

1 . 神经网络学习方法 :

① 感知器 : 有监督的学习方法 , 给出已知的训练集 , 学习过程中指导模型的训练 ;

② 认知器 : 无监督的学习方法 , 训练集未知 , 各个单元竞争学习 ;

2 . 神经网络学习和使用 :

① 离线网络 : 学习 和 使用 , 两个过程是独立的 ; 先训练神经网络 , 然后再使用 ;

② 在线网络 : 学习 和 使用 , 两个过程是同步的 ; 一边训练 , 一边使用 ;

3 . 神经网络学习规划 : 调整神经元连接权系数的方式 ;

① 相关学习网络 : 根据单元之间的连接的激活水平 , 调整神经元连接权系数 ;

② 纠错学习网络 : 根据输出单元的外部反馈 , 调整神经元连接权系数 ;

③ 自组织学习网络 : 根据输入自适应改变神经元连接权系数 ;

VI . 浅层神经网络 与 深度神经网络

1 . 浅层神经网络 : 拓扑结构 , 连接方式 , 学习规则 , 三方面说明其特征 ;

① Hopfield 网络 : 单层结构 , 反馈型网络 , 神经元单元都是相同的 ;

② 反向传播网络 : 多层结构 , 前馈型网络 , 学习规则是最小均方差纠错 ; ( 用途 , 语言识别 , 分类 )

③ Kohonen 网络 : 自组织网络 , 有输入层和输出层 , 神经元单元是全连接的 ;

④ ART 网络 : 自组织网络 ;

2 . 深度神经网络 : 卷积神经网络 ( CNN ) , 循环神经网络 ( RNN ) , 深度信念网络 ( DBN ) ;