目录

BP算法思路简介

1、神经网络训练的优化目标

2、梯度下降

3、反向传播（backpropagation）算法

4、前向传播计算

5、反向传播误差信号

6、更新参数

链式法则

链式法则简介

1、链式法则与复合函数

2、链式法则和计算图

链式法则使用

BP算法原理推导—以三层神经网络为例

1、理论推导

1.1、前向传播计算

数学式子描述该神经网络：

(1)、一般情况下，同一层的激活函数都是一样的，并且此处是进行二分类，所以隐藏层、输出层都可以采用Sigmoid激活函数。

​

1.2、反向传播计算

       反向传播的计算过程。假设我们使用随机梯度下降的方式来学习神经网络的参数，损失函数定义为 L(y，y^)，其中y是该样本的真实类标。使用梯度下降进行参数的学习，我们必须计算出损失函数关于 神经网络中各层参数（权重w和偏置b)的偏导数。

0、比如要对第k隐藏层参数w、b求偏导数

1、先计算

因为偏置b是一个常数项，因此偏导数的计算也很简单。

2、再计算