定义

• 基于神经网络或深度学习的算法依赖于基于梯度的学习
• 为了计算精确的梯度，参数与训练目标之间的关系最好是连续且平滑的

\[h_i=f(a_i,z_i) \]

上式中，\(h_i\)是随机神经元stochastic neuron的输出，\(z_i\)是某一噪声源，\(a_i\)是输入和内部参数的某一可微变换，即\(a_i=b_i+\sum_jW_{ij}x_{ij}\)
如果要求\(h_i\)是二元的，则f的导数则到处是0，阈值处为无穷。这样梯度就不会流动flow

参考资料

• 2013 | Estimating or Propagating Gradients Through Stochastic Neurons for Conditional Computation | Yoshua Bengio et al.