2、BP算法带入实例推导

BP算法思路简介

       前馈神经网络(NN)，而是和循环神经网络(RNN)的概念是相对的。而反向传播方法可以用在FF网络中，此时，基于反向传播算法的前馈神经网络，被称为BP神经网络。      

      反向传播(Backpropagation)算法，深度学习模型采用梯度下降和误差反向传播进行模型参数更新。

1、神经网络训练的优化目标

梯度下降（Gradient Descent）：

求解非线性无约束优化问题的最基本方法;

最小化损失函数的一种常用的一阶优化方法。

2、梯度下降

沿负梯度方向，函数值下降最快