前馈神经网络

• 4.1 神经元
• • 4.1.1 Sigmoid 型函数
  • 4.1.2 ReLU 函数
  • 4.1.3 Swish 函数
  • 4.1.4 GELU 函数
  • 4.1.4 Maxout 单元
• 4.2 网络结构
• 4.3 前馈神经网络
• 4.4 反向传播算法
• 4.5 自动梯度计算
• 4.6 优化问题

4.1 神经元

  人工神经元（ Artificial Neuron ），简称神经元（ Neuron ），是构成神经网络的基本单元，其主要是模拟生物神经元的结构和特性，接收一组输入信号并产生输出．

图 4.1 给出了一个典型的神经元结构示例．

下面介绍几种在神经网络中常用的激活函数．

4.1.1 Sigmoid 型函数

  Sigmoid 型函数是指一类 S 型曲线函数，为两端饱和函数．常用的 Sigmoid型函数有 Logistic 函数和 Tanh 函数．

  图 4.2 给出了 Logistic 函数和 Tanh 函数的形状． Tanh 函数的输出是零中心化的（Zero-Centered ），而 Logistic 函数的输出恒大于 0 ．非零中心化的输出会使得其后一层的神经元的输入发生偏置偏移（ Bias Shift ），并进一步使得梯度下降的收敛速度变慢．

  Hard-Logistic 函数和 Hard-Tanh 函数：Logistic 函数和 Tanh 函数都是 Sigmoid 型函数，具有饱和性，但是计算开销较大．因为这两个函数都是在中间（ 0 附近）近似线性，两端饱和．因此，这两个函数可以通过分段函数来近似．

图 4.3 给出了 Hard-Logistic 函数和 Hard-Tanh 函数的形状．

4.1.2 ReLU 函数

  ReLU （ Rectified Linear Unit ，修正线性单元）也叫Rectifier 函数 ，是目前深度神经网络中经常使用的激活函数．ReLU 实际上是一个斜坡（ ramp ）函数.

在实际使用中，为了弥补Relu函数的缺点，有几种 ReLU 的变种也会被广泛使用．

• 带泄露的 ReLU （ Leaky ReLU ）在输入