Tips for training DNN
一个困境
得到一个DNN的步骤：
- 设定 F u n c t i o n S e t Function\ Set Function Set
- 设定 L o s s F u n c t i o n Loss\ Function Loss Function
- 找到最好的函数
但容易出现一个问题：
如果 F u n c t i o n Function Function在 T r a i n i n g D a t a Training\ Data Training Data上表现不好，我们会重新调整 F u n c t i o n Function Function，直至其表现好为止
如果 F u n c t i o n Function Function又在 T e s t i n g D a t a Testing\ Data Testing Data上表现不好，这就是 O v e r f i t t i n g Overfitting Overfitting，这个时候就要再次调整 F u n c t i o n Function Function
但这样一来， F u n c t i o n Function Function又可能在 T r a i n i n g D a t a Training\ Data Training Data上表现不好
因此，不能总是将问题归结于
O
v
e
r
f
i
t
t
i
n
g
Overfitting
Overfitting，既要看
T
r
a
i
n
i
n
g
D
a
t
a
Training\ Data
Training Data也要看
T
e
s
t
i
n
g
D
a
t
a
Testing\ Data
Testing Data，如果
T
r
a
i
n
i
n
g
D
a
t
a
Training\ Data
Training Data表现也不好并且DNN本身就很深，这就说明是没训练好。
可能的原因：
- 局部最小（local minima）
- 鞍点（saddle point）
- 停滞（plateau）
我们有很多解决 T r a i n i n g D a t a Training\ Data Training Data和 T e s t i n g D a t a Testing\ Data Testing Data表现差的方法。
在 T r a i n i n g D a t a Training\ Data Training Data上表现差
换激活函数（New activation function）
例子：在MNIST上的网络，如果用
s
i
g
m
o
i
d
sigmoid
sigmoid激活函数，则当层数越多时，效果反而越差！
原因：梯度弥散（Vanishing Gradient Problem）：在靠近input的部分梯度较小，在远离input的地方，梯度较大。因此，靠近input的参数更新慢、收敛也慢，远离input的参数更新快、收敛得也很早。
一个直观的感受：在input位加上一个
△
w
△w
△w，这个影响会随着深度的加深越来越小。因此，我们需要一个不会衰减
△
w
△w
△w的方法。
ReLU
ReLu函数就是一个解决方案，有一下理由：
- 计算快速： a < 0 a<0 a<0时 σ ( z ) = 0 σ(z)=0 σ(z)=0， a > 0 a>0 a>0时 σ ( z ) = z σ(z)=z σ(z)=z
- 有生物学基础：来源于神经元细胞的特性，能量不足时就不激活
- 等同于无穷多层的偏差不同的sigmoid函数叠加的结果
-
能解决Vanishing Gradient Problem
如图所示，如果某个数据为0，那么它对DNN将无贡献，就把它从DNN中去除。剩下的就是个线性函数。
问题：如果网络都用ReLU了，网络变成了线性的了？那NN的效果不会变得很差吗？这与我们使用深层网络的初衷不是违背了吗？
答：其实使用ReLU的NN整体还是非线性的。当每个神经元的操作域（operation region）是想相同的时，它是线性的。即当你对input只做小小的改变，不改变神经元的操作域，那NN就是线性的；但如果对input做比较大的改变，改变了神经元的操作域，这样NN就是非线性的了。
问题：ReLU不能微分呀？怎么做梯度下降呀？
答：当x>0时，ReLU微分就是1，当x<0时，ReLU微分就是0。而x的值一般不太可能恰好是0，所以不在意x=0时的微分值也没问题。
ReLu的变形：当
a
<
0
a<0
a<0时
σ
(
z
)
σ(z)
σ(z)可以适当改变，有助于更新。如下图：
Maxout
Maxout是另一种解决方案。基本流程：
- 将每个数据乘上一个系数，结果相加，得到更多的数据。
- 将新的数据分组， n ( n ≥ 2 ) n(n\geq2) n(n≥2)个一组，每组选出一个最大的数据。
- 重复1、2步骤
下图为两个数据，
n
=
2
n=2
n=2的情况。
同时，ReLU是Maxout的一种特殊情况，因为Maxout本质上是将几个线性函数组合一下，ReLU显然就是两根线性函数的组合，即：折线函数。
当然，Maxout还能做到更多。
Maxout的训练也很直观，直接训练拿掉了未被选中的neuron后的”瘦长“网络就可以。不用担心这样会造成那些为被选中的neuron的参数无法被训练到，因为其实你每次输入的训练数据不同时，被选中的neuron也不同，所以终究而言，所有的neuron都是能被训练到的。
自适应学习率（Adaptive Learning Rate）
Adagrad：
w
t
+
1
←
w
t
−
η
∑
i
=
0
t
g
i
2
w_{t+1}\leftarrow w_t-\frac{η}{\sqrt{\sum_{i=0}^{t}g_i^2}}
wt+1←wt−∑i=0tgi2
η。思想是：对于梯度一般比较小的参数，我们给它较大的学习率；对于梯度一般比较大的参数，我们给它较小的学习率。
这当然是适合简单情况的，但实际中，常常出现一些复杂的情况。
比如下图中的”月形“的损失函数上，w1的更新我们需要它在平坦的区域给它较小的学习率，在较陡峭的地方，给它较大的学习率，即它的学习率应该是更加动态变化的，但adagrad的话只能做到单调递减的学习率。
RMSProp
RMSProp就是解决这一问题的一个方法，公式如下：
不要太担心local minima影响更新。可以这么想：每个参数出现local minima的概率为
p
p
p，一般一个模型有1000个参数，只有一起出现local minima时，参数才会停止更新。因此，遇上参数停止更新的概率为
p
1000
p^{1000}
p1000，是很小的。
Momentum
Momentum从物理的惯性得到启发。参数的每次更新就是加上一个向量
v
v
v，在简单的Gradient Descent中，
v
v
v只由梯度决定。但在Momentum中，之前的更新会作为“惯性”继续影响着后续的更新，但“惯性”会逐渐减小。
Adam
Adam就是RMSProp和Momentum的结合了。
在 T e s t i n g D a t a Testing\ Data Testing Data上表现差
早停法（Early Stopping）
为了防止
O
v
e
r
f
i
t
t
i
n
g
Overfitting
Overfitting的产生，我们应该把训练停在测试集损失最小的位置。但这要求知道测试集上的损失变化情况，所以我们常常用验证集来代替。
正则化（Regularization）
将Loss Function加工一下：
对其进行微分，得到新的迭代式：
因为
(
1
−
η
λ
)
<
1
(1-ηλ )<1
(1−ηλ)<1，所以每一次更新都会使参数衰减一点。
由于这里的的参数是平方之后加入到Loss Function里的，所以称为L2 regularization。
同理，还有L1 regularization。
我们可以看到L1与L2作参数更新时的差别：L1是每次参数多减去一个固定值，而L2是每次对参数进行乘以一个小于1的正值的衰减，因此L1最后会得到比较多的0值（更稀疏），而L2会得到比较多的较小但非0的值。
Dropout
训练过程中，每一次更新参数前，我们对网络中的每个神经元做一次sampling，即令每个神经元有
p
%
p\%
p%的概率被丢弃掉，然后只更新余下的神经元的参数。
但是，在Testing的时候不做Dropout，并对所有参数乘以
1
−
p
%
1-p\%
1−p%。
这是因为用dropout训练时，期望每次会有
p
%
p\%
p%的神经元未得到训练。而在测试集上，每次都是所有的神经元都参与了工作，所以在计算z值时，会是原来训练时的
1
1
−
p
%
\frac{1}{1-p\% }
1−p%1倍，因此需要在测试时乘以
1
−
p
%
1-p\%
1−p%。
Dropout通常很有效，Dropout是一种极致的ensemble。
因为每次用一个minibatch的数据对NN进行训练时，由于dropout，每次都相当于训练了一个新结构的网络，那么当我们整个NN中有M个神经元时，我们最多可以训练处2M2M个可能的网络，而最终测试时，也就相当于这些网络合力给出结果。
也不用担心说一个网络只用一个batch来训练，效果会不会很差，因为神经元的参数是共享的，大家其实可以整体看做还是在合力使得彼此的能力都变得更强。
那么按理来说，我们如果这样做ensemble，最后应该把所有的网络都输入测试数据x，再取所有输出的平均作为结果，但是因为网络数量太多，这样做不太实际。而神奇的就是：当我们把所有的网络参数乘以(100-p)%，然后把测试数据x输入到原本的网络中，它的输出结果就和ensemble的结果很接近！！！