深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

2017.10.06

材料来自:http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS17.html   

我们知道在神经网络中,我们需要求解的是一个最小化的问题,即:最小化 loss function。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

假设我们给定一组初始的参数 $\theta$,那么我们可以算出在当前参数下,这个loss是多少,即表示了这个参数到底有多不好。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

然后我们利用上述式子来调整参数,其中梯度可以用▽的形式来表示。我们可以将这个过程可视化出来看看:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

这样子,就算出了每一步当前参数的梯度方向(红色),以及蓝色的调整的方向。这就是梯度下降方法了。

紧接着,李老师讲解了一些梯度下降方法的tips:

1. 调整你的 学习率(learning rate):

深度学习课程笔记(四)Gradient Descent 梯度下降算法

2. 自适应调整的学习率:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们可以看到,学习率调整的大原则就是:初始的LR 可以调的很大,因为这个时候我们离局部最小值比较远,当时随着学习的进行,我们需要降低学习率,走的步伐要稍微低一点,因为这个时候我们离目的地已经很近了,我们要微调就行了。否则,就可能错过了最好的点。

我们可以将学习率设置为随着迭代次数变化的变量,这样子就可以自适应的调整 LR了。但是,更好的方式,应该是对于不同的参数,都用不同的学习率来进行优化。其中,这类方法中,最直观最简单的,可能就是 Adagrad了。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

这里,李老师给了例子来说明,随着学习的进行,权重的更新是如何自适应变化的。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

所以,我们将上述式子进一步的化简,可以得到 Adagrad 的参数更新的方程:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

上面就是 Adagrad 方法的全部了,后面李老师对这个更新的方法进行了分析,发现了有如下的看似“不妥当”的东西:当梯度较大的时候,学习的幅度较大,这个没有关系,算是正常;但是,在Adagrad 中,较大的梯度,会导致较大的学习步长,这也没有问题,但是他前面分母当中,较大的梯度,反而使得步长变小了。。。。这又该怎么解释呢?

深度学习课程笔记(四)Gradient Descent 梯度下降算法

有一种直观的解释是,这里的 Adagrad 描绘了梯度变化中,反差的情况:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

此外,还有另外一种比较正式的解释:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

假设我们从 x0 开始出发,我们到最小值处的最优的步长应该是上图中 Best step 所描绘的那样子,而这个值恰好是目标函数微分后的函数在 x0 处的微分值。所以,较好的步长设置应该是 与微分值成正比的一个数字。这是在只考虑一个参数的时候,才成立的。

如果有多个参数,同时影响这个函数的话,情况就很不一样了。此时, gradient 的值越大,那么离局部最小就一定越远,这句话就要打一个问号了。这句话变的不一定成立了。

我们考虑两个参数的情况,w1 and w2 构成下面这样子的梯度情况:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们在只考虑参数 w1 的情况下,我们可以发现,在 a 点的微分值 是比 b 点的微分值要大的。同时,只对于 w2 来说,也是这样子的。

但是,当跨参数比较的时候,这个结论就不一定成立了。我们来看看下面的这个例子:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们来比较下 a 点 和 c点的情况,虽然 c点的梯度比 a点的梯度要大,但是实际上,c点离局部最小值的距离是更近的。所以,梯度大,并不一定离得就远。。。。

比较合理的是,引入二次微分,我们发现最优步长中分母项是 2a,这个 2a 就是那个函数求二阶导数得到的。所以,当前情况下,最好的步长应该是与一次微分成正比,与二次微分成反比的。如下图所示:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

那么,我们再来看看梯度变化的展示图:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们可以看到,在 w2 方向上的二阶导数变化是比较小的,而w1方向上的变化是比较大的。我们同时考虑一阶导数和二阶导数,才能真正的反应,某一点,离原点的距离。再来看,a 和 c 点,分子分母都相对的比较小,比较大,就很难看出到底是哪个比较近了。所以,这个时候需要带入,算一算,才知道咯?!!那么,这个现象和 Adagrad 到底有什么关系呢?

神奇的是,Adagrad 就已经在模拟这个比值了:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

其中的 gt 就是一阶导数,分母虽然不是显示的求解的二阶导数,但是已经是在模拟这个过程了。因为求解二阶导数是需要额外耗费时间的,所以,我们在不增加额外计算量的情况下,可以估计其二阶导数,何乐而不为呢?

假设我们这里有两个函数,其一阶导数分别为:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

如果我们只采样一个点,我们是很难根据一阶导数估计其二阶导数的,但是我们可以采样很多点啊。。对不对。。。Ok. 如果有很多点,那么:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们有了这么多采样的点,那么,我们可以看出在比较宽的峡谷中,我们得到的梯度是比较小的,而在比较窄的峡谷中,我们得到的梯度是比较大的。我们将这些点都平均起来来看,那么,就可以大致估计出二阶导数的大小了。

关于 Adagrad 大概就是这样子。接下来 我们来看看什么是随机梯度下降(stochastic gradent descent)

先说说这个方法的好处吧,恩,就是: make your training faster ...

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们知道,总的 Loss function 是所有样本的 loss 加和,得到的。而梯度下降就是利用所有的 loss 结果来求解。而 SGD 是仅仅对 一个样本进行 loss 的求解,并且更新的时候,只考虑一个样本。也就是说,来一个样本,我就算一次,更新一次,而跟其他的样本没有交集。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

接下来就是第三个 tip 了: Feature Scaling

深度学习课程笔记(四)Gradient Descent 梯度下降算法

那么,这么做有什么好处呢?加入输入的 feature 中,两个样本 x1 and x2 之间的差距较大,那么,就会导致出现左侧那种椭圆形的等高线的情况,而右侧这种比较一致的 feature 输入,会得到一组比较靠近圆形的等高线。这有什么区别吗?

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们继续来看,我们是要用梯度下降来去优化参数,那么我们在左侧椭圆形等高线情况下,就必须得用 Adagrad 这样的优化方法来做了,因为他每一处的梯度都是方向不同的,她是沿着红色曲线的方向进行优化的。

而圆形的这种变化趋势,我们发现,这种可以直接沿着直线的方向,直接就可以优化到圆形的中心点。这实际上是非常平滑的,而且速度上可能有优势。优化起来,比较平滑。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

那么,既然有这么多好处,我们该怎么做这个 feature  scaling 呢?

深度学习课程笔记(四)Gradient Descent 梯度下降算法

一种比较简单的处理方法就是:对 feature 的每一个维度,我们求出其均值和标准差,然后对每一个 value,减去均值然后再除以标准差,就可以得到修改后的 feature value了。


那么,梯度下降方法能work 的原因是什么呢?

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们首先来看一个例子:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

那么,现在我们的问题就是:给定一个点,我们怎么找到其附近区域内的最小的那个点呢???我们先来看看泰勒级数的问题:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

这里给了一个例子:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

上面提到的是单个变量的泰勒展开式,我们来看看多变量的情况:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

那么,我们再次回到那个 formal Derivation 的问题:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们考虑在圆形内部的情况:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们所要找的最优的 theta 1 and theta 2 就是和 (u, v)反方向的,并且长度是圆形的半径那样子的。

深度学习课程笔记(四)Gradient Descent 梯度下降算法

我们把 u 和 v 带进去之后,就发现,这原来就是 gradient descent:

深度学习课程笔记(四)Gradient Descent 梯度下降算法


梯度下降的缺点:

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

深度学习课程笔记(四)Gradient Descent 梯度下降算法

根据以上的图像,我们知道有几个缺点是比较明显的:

1. 容易卡在局部最小值;而不是全局最小;

2. 容易卡在 saddle point;

3. 容易在比较平坦的地方,让你觉得,哦,loss 接近于 0 了,应该训练的差不多了。。。

4. 。。。

上一篇:深度学习课程笔记(十七)Meta-learning (Model Agnostic Meta Learning)


下一篇:【Cocos2d实例教程一】xcode5下Cocos2d环境的搭建