深度学习-局部最优、鞍点、超参数的优先级

局部最优,在深度学习中一般不会出现。弄清楚局部最优的概念,是要求所有方向都凸函数的情况下,才具有局部最优,这个比例往往是很小的。例如20000个方向的局部最优,需要2的20000次方才能成立。

鞍点,这是我们深度学习中经常会碰到的情况,有一部分时凸函数,一部分是凹函数。

动量法,RMSprop、Adam都是解决梯度下降加速的问题,能够更大的可能逃离出这些鞍点。

深度学习-局部最优、鞍点、超参数的优先级

 

超参数的优先级:红色>橙色>紫色

 深度学习-局部最优、鞍点、超参数的优先级

 

上一篇:神奇的两招,让超市做到人满为患,老板这一套操作打下来真绝


下一篇:18443 除法等式