1.2 神经网络的反向求导
在上一节中， 我们大致对神经网络的梯度更新有了了解，其中最核心的部分就是求出损失函数对权重 ????????wijl 的导数。由于网上大多数资料都是生搬硬套，因此我们以计算 ??1W1 的导数为例，对整个反向求导过程进行细致的剖析。如下图所示：
其中，????????wjkl 表示从第 ??l 层的第 ??j 个节点到第 ??+1l+1 层中的第 ??k 个节点的权重，根据前向传播的计算我们可以得到：
????????～(??311??211+??321??212)??111??1,????????????111=(??311??211+??321??212)??1;????????～(??311??211+??321??212)??121??2,????????????121=(??311??211+??321??212)??2????????～(??311??221+??321??222)??1