训练神经网络,其中一个加速训练的方法就是归一化输入,归一化需要两个步骤:(1)零均值u;(2)归一化方差σ2。
第一步是零均值化,,它是一个向量,x等于每个训练数据 x减去u,意思是移动训练集,直到它完成零均值化。
第二步是归一化方差,注意特征x1的方差比特征x2的方差要大得多,我们要做的是给σ赋值,,σ2是一个向量,它的每个特征都有方差,注意,我们已经完成零值均化,(x(i))2元素y2就是方差。
u和σ2是由训练集数据计算得来的。
如左上图所示,这是一个非常细长狭窄的代价函数,,如果你在上图这样的代价函数上运行梯度下降法,你必须使用一个非常小的学习率,因为如果是在这个位置,梯度下降法可能需要多次迭代过程,直到最后找到最小值。但如果函数是一个更圆的球形轮廓,那么不论从哪个位置开始,梯度下降法都能够更直接地找到最小值,你可以在梯度下降法中使用较大步长,而不需要像在左图中那样反复执行。