机器学习笔记之人工神经网络(ANN)

人工神经网络(ANN)提供了一种普遍而且实际的方法从样例中学习值为实数、离散值或向量函数。人工神经网络由一系列简单的单元相互连接构成,其中每个单元有一定数量的实值输入,并产生单一的实值输出。

机器学习笔记之人工神经网络(ANN)

上面是一个汽车自动驾驶神经网络学习的例子:下方的图像是网络的输入,通过4个隐藏单元运算,得到30个输出(图的上方)决定汽车的行驶方向。

本文主要介绍两种基本单元:感知器和线性单元的权值学习。

感知器

(1)感知器原理

感知器是神经网络的一种基础单元。感知器以一个实数值作为输入,计算这些值得线性组合,如果大于某个阈值就输出1,否则输出-1。(其实就是一个符号函数)

机器学习笔记之人工神经网络(ANN)

机器学习笔记之人工神经网络(ANN)

感知器可以看做n维空间中的超平面决策面。对于超平面一侧的实例感知器输出1,另一侧的输出-1。但是有些实例点是不可分割的(如下图右侧)

机器学习笔记之人工神经网络(ANN)

(2)感知器训练法则

感知器的学习任务是决定一个权向量(w1,w2,w3....),使感知器能对给定的实例输出正确的1或-1。为得到接受的权向量,一种办法是从随机值开始,然后反复的应用感知器,不断修正感知器权值wi,直到感知器能够分类所有的训练样例。

机器学习笔记之人工神经网络(ANN)

上面这中学习只有在样本点确实线性可分,感知器才能学习到正确的权值。

线性单元

(1)线性单元

     线性单元没有感知器阈值判断,直接输出所有输入的组合。

机器学习笔记之人工神经网络(ANN)

(2)梯度下降和delta法则

当样例不可分时,运用delta法则,可以使目标收敛到目标概念的最佳近近似(误差最小)。定义训练误差:

机器学习笔记之人工神经网络(ANN)

这里,我们定义使训练数据输出误差最小为最佳假设。

为了确定使E最小的权向量w,梯度下降搜索从一个任意的初向量开始,然后以很小的反复修改这个向量。每一步都沿着误差曲面最陡峭下降方向去修改权向量,继续这个过程直到得到全局的最小误差点。

最陡峭的下降方向其实就是梯度方向。即将E对wi分别求偏导就能得到相应修改的量。

机器学习笔记之人工神经网络(ANN)

机器学习笔记之人工神经网络(ANN)

      上面梯度算法,容易陷于局部的极小值。为了避免这种情况,改用随机梯度算法。随机梯度下降的思想是根据每个单独样例的误差去修改权值,得到近似的梯度搜索。

机器学习笔记之人工神经网络(ANN)

注:这里跟感知器的区别是输出一定是正负1,所以误差不一定是正负2。


神经网络的特点

(1)抗噪声比较强,允许训练数据有错误;

(2)实例是由很多“属性-值”对表示;

(3)需要较长时间训练;

上一篇:IOS SWIFT 启动流程学习


下一篇:Redis的介绍及使用实例.