【转载】 梯度下降法(steepest descent)和共轭梯度法(conjugate gradient)

 

 

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。

原文文链接:https://blog.csdn.net/tanmx219/article/details/83051908    

==================================================

 

 

 

 

这是一篇自己的理解,不是严格意义上的证明,事实上很多熟悉的公式和推导方式都没有摆上来。推导的过程和方式也没有参考课本,这可能和个人习惯有关系,以前看别人著作时,很怕那种“显而易见”地描述,因为对作者而言显而易见的地方,对读者可能不是。对读者显而易见的地方,作者可能不这么认为。我一直的想法是,如果条件鲁棒,不论你从哪个角度去推导,比如说有的人喜欢展开推导(展开的形式也因人而异),有的更喜欢用向量表达,结果应该都是一样的!

 

 

 

【转载】     梯度下降法(steepest descent)和共轭梯度法(conjugate gradient)

 

 

 

 

 

===============================================

 

上一篇:HTB-Remote


下一篇:【转载】深度学习数学基础(二)~随机梯度下降(Stochastic Gradient Descent, SGD)