BP学习算法最早是由保罗·沃博斯在20世纪70年代提出的。然而，它在1986年被鲁梅尔哈特和麦克莱兰重新发现，之后BP被广泛使用[1]。BP算法的理论是基于误差修正学习规则，该规则使用误差函数来修改连接权值以逐渐减小误差。为了简化，这个误差是实际网络输出和期望输出之间的差异。因此，BP学习算法附属于监督学习范例，因为它需要期望的输出模式[2][3]。

 BP可以分解为以下四个步骤:

• 前馈阶段的计算
• 误差向输出层和隐藏层的反向传播
• 网络连接权重的更新
• 当误差函数值小于预定义的可接受容差时，算法停止。

【1】 Alsmadi, M., Omar, K., and Noah, S. 2009. “Back
Propagation Algorithm: The Best Algorithm among the
Multi-layer Perceptron Algorithm,” IJCSNS International
Journal of Computer Science and Network Security 9 (4):
378-83.
【2】Graupe, D. 2007. Principles of Artificial Neural Networks,
Singapore, Hackensack, N. J.: World Scientific.
【3】Rojas, R. 1996. Neural Networks: A Systematic
Introduction. Berlin: Springer.