梯度下降法(gradient descent)/ 最速下降法(steepest descent)求解无约束最优化问题:
其中f(x)是R^n上具有一阶连续偏导数的函数,表示目标函数f(x)的极小点。
梯度下降法:
输入:目标函数f(x),梯度函数,计算精度e;
输出:f(x)的极小值点
(1)取初始值,置k = 0
(2)计算
(3)计算梯度,当 时,停止迭代, 令;否则,令 ,求,使
(4)置,计算
当或时,停止迭代。令。
(5)否则,置k = k + 1,转(3)
当目标函数时凸函数时, 梯度下降法的解是全局最优解。一般情况下,其解不保证为全局最优解。梯度下降法收敛速度也未必是最快的。