神经网络与激活函数
神经网络从数学上来说，就是用来拟合一个函数。把数据扔进去，得到一个预测结果，以此来解决分类和回归等问题。但是针对不同的问题，需要拟合不同的函数，包括线性函数和非线性函数。神经网络中常常会见到各种激活函数，当需要拟合非线性函数时就需要激活函数登场了。
对于每个神经元来说，都是先进行线性变换，再将线性变换的结果通过激活函数来进行激活。注意，这里的有效激活函数必须是非线性函数。如果采用线性激活函数，则在前向传播的过程中，相当于一直做线性变换，这样的话，无论多少隐藏层，都是线性变换，也就是隐藏层在这里没有发生作用，仍然是一个单层的感知机。当然对于最后一层的输出层则没有这个要求，可以选择线性或者非线性的激活函数。
常用激活函数总结
这里主要介绍非线性激活函数，线性的激活函数也就是恒等函数，在坐标轴表示为一条直线，通常使用较少。常见的非线性激活函数通常可以分为两类，一种是输入单个变量输出单个变量，如sigmoid函数，Relu函数；还有一种是输入多个变量输出多个变量，如Softmax函数，Maxout函数。
1.Sigmoid函数
Sigmoid函数，也叫做S函数将值限定在 \((0,1)\) 之间，能够很好的作为概率来解释算法得到的结果。目前在计算机视觉中不常用，只适用于二分类等问题。
缺点是当输入较大的正数或者负数时，导数就会变为0，这时候采用梯度下降方法就会下降很慢，使得神经网络不能正常更新。同时不是以0为对称，容易在更新时产生 zigzag 路径。
函数定义为
\[
a = sigmoid(z) = \frac{1}{1+e^{-z}}
\]
其求导结果为
\[
a'=\frac{1}{1+e^{-z}}\left( 1 - \frac{1}{1+e^{-z}}\right)=a(1-a)
\]
2.tanh函数
thah函数能够将值限定在 \((-1,1)\) 之间，比sigmoid函数更为常用。但是也存在与sigmoid函数一样的缺点，当在z值较大或者较小时，斜率接近0，这时优化速度很慢，这种情况下可以考虑采用ReLU函数。
函数定义为
\[
a = thah(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}
\]
求导结果为
\[
a' = 1 - tanh^2(z) = 1 - a^2
\]
3. ReLU函数及其变体
ReLU函数，也叫做线性整流函数，能够解决在值较大时产生的梯度为0的问题，能够正常的更新，并且没有复杂的指数计算，使得性能较好，收敛较快，是目前在视觉领域最为常见的激活函数。
ReLU函数为
\[
a = ReLU(z) = max(0,z)
\]
其导数为
\[
a' = \left\{\begin{matrix}
0 & x<0 \\
1 & x>0
\end{matrix}\right.
\]
LeakyReLU是为了防止ReLU函数在负数时，斜率为0的情况，但在实际情况中，很难到负数那边去，所以基本采用ReLU就足够了，不过也建议采用交叉验证来试试这个函数。
Leaky ReLU为
\[
a = LeakyReLU(z) = max(0.01z,z)
\]
其导数为
\[
a' = \left\{\begin{matrix}
0.01 & x<0 \\
1 & x>0
\end{matrix}\right.
\]
此外，还有几种激活函数由算法来学习负数区域的学习率，如PReLU函数和ELU函数，原理与ReLU函数类似。
4.Softmax函数
softmax函数与sigmoid函数很相似，也是将值变换到 \((0,1)\) 之间。但是可以针对多个类别，预测出每个类别的归一化概率，所以通常softmax函数是在分类器的输出层使用。
其函数表达式为
\[
\sigma (z)_{j}= \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}}
\]
如何选择激活函数
选择激活函数没有固定的规则，每个激活函数适用于不同的应用，比如分类和回归，多分类和二分类任务。但根据每个激活函数的性质，也存在一些基本的规律
- 对于二分类问题，在输出层可以选择 sigmoid 函数。
- 对于多分类问题，在输出层可以选择 softmax 函数。
- 由于梯度消失问题，尽量sigmoid函数和tanh的使用。
- tanh函数由于以0为中心，通常性能会比sigmoid函数好。
- ReLU函数是一个通用的函数，一般在隐藏层都可以考虑使用。
- 有时候要适当对现有的激活函数稍作修改，以及考虑使用新发现的激活函数。
欢迎大家关注公众号“计算机视觉与机器学习”