Backto DeepCV

全凭经验和运气去试验。几个思路:

• LR 设一个定值(如 0.1)，让真实的 $LR' = \frac{LR}{num\_batches}$LR′=num_batchesLR​, 去调节 mini-batch的数量
• LR 设定一个初值(如 0.1)， 开始训练，观察 validation 的效果，发现优化不动了，就 $LR' = LR / 2$LR′=LR/2,

Ref

• 深度学习优化器 optimizer 的选择: 前面介绍的很详细，后面的动图很棒