【机器学习数学】梯度下降法

梯度下降法(gradient descent)/ 最速下降法(steepest descent)求解无约束最优化问题:

                              【机器学习数学】梯度下降法

 

其中f(x)是R^n上具有一阶连续偏导数的函数,【机器学习数学】梯度下降法表示目标函数f(x)的极小点。

 

 

梯度下降法:

输入:目标函数f(x),梯度函数【机器学习数学】梯度下降法,计算精度e;

输出:f(x)的极小值点【机器学习数学】梯度下降法

 

 (1)取初始值【机器学习数学】梯度下降法,置k = 0

 (2)计算【机器学习数学】梯度下降法

 (3)计算梯度【机器学习数学】梯度下降法,当  【机器学习数学】梯度下降法 时,停止迭代, 令【机器学习数学】梯度下降法;否则,令【机器学习数学】梯度下降法 ,求【机器学习数学】梯度下降法,使

                            【机器学习数学】梯度下降法

 (4)置【机器学习数学】梯度下降法,计算【机器学习数学】梯度下降法

 

 当【机器学习数学】梯度下降法【机器学习数学】梯度下降法时,停止迭代。令【机器学习数学】梯度下降法

 (5)否则,置k = k + 1,转(3)

当目标函数时凸函数时, 梯度下降法的解是全局最优解。一般情况下,其解不保证为全局最优解。梯度下降法收敛速度也未必是最快的。

 

上一篇:javascript-创建对象


下一篇:3_调用方法