学习率 learning_rate：表示了每次参数更新的幅度大小。学习率过大，会导致待优化的参数在最 小值附近波动，不收敛；学习率过小，会导致待优化的参数收敛缓慢。
在训练过程中，参数的更新向着损失函数梯度下降的方向。
参数的更新公式为：
相关文章
- 02-14SGD 随机梯度下降法
- 02-14随机梯度下降法
- 02-14李宏毅 机器学习(2017)学习笔记——1-梯度下降法实例
- 02-14随机梯度下降法实例
- 02-14SK-Learn随机梯度下降法
- 02-14小批量随机梯度下降法
- 02-14一种利用 Cumulative Penalty 训练 L1 正则 Log-linear 模型的随机梯度下降法
- 02-14机器学习---用python实现最小二乘线性回归算法并用随机梯度下降法求解 （Machine Learning Least Squares Linear Regression Application SGD）
- 02-14梯度下降：全梯度下降算法(FG)、随机梯度下降算法(SG)、小批量梯度下降算法(mini-batch)、随机平均梯度下降算法(SAG)。梯度下降法算法比较和进一步优化。
- 02-14机器学习---用python实现最小二乘线性回归并用随机梯度下降法求解 （Machine Learning Least Squares Linear Regression Application SGD）