初始的学习率一般有一个最优值，过大则导致模型不收敛，过小则导致模型收敛特别慢或者无法学习，下图展示了不同大小的学习率下模型收敛情况的可能性，图来自于cs231n。
相关文章
- 03-04终于有人讲清楚准确率（accuracy）、召唤率(recall)和精确率（precision）的关系了
- 03-04深度学习-----从零开始实现识别手写字体任务（六）计算测试集的准确率和Tensorflow的执行阶段
- 03-04学习率和loss下降的关系
- 03-04【机器学习】搞清楚机器学习的TP、FN、FP、TN，查全率和查准率，P-R曲线和ROC曲线的含义与关系
- 03-04使用MINST数据集训练模型并动态绘制Loss和准确率的趋势图
- 03-04机器学习-实战-入门-linearSVC和SVC,身高体重与胖瘦关系的分类与预测
- 03-04交叉熵损失函数（Cross_entropy loss）的梯度下降法中w和b的梯度问题
- 03-04深度学习15 基于keras的知识蒸馏2（实现kl loss和温度T）
- 03-04【机器学习】搞清楚机器学习的TP、FN、FP、TN，查全率和查准率，P-R曲线和ROC曲线的含义与关系
- 03-04Go语言学习——彻底弄懂return和defer的微妙关系