深度学习 Relu 函数 (by shany shang)

深度学习 Relu 函数 (by shany  shang)

激活函数所在的位置:

深度学习 Relu 函数 (by shany  shang) 图1

激活函数:在神经元中,输入的 inputs 通过加权,求和后,还被作用了一个函数,这个函数就是激活函数。引入激活函数是为了增加神经网络模型的非线性。没有激活函数的每层都相当于矩阵相乘。就算你叠加了若干层之后,无非还是个矩阵相乘罢了。

ReLU函数:

深度学习 Relu 函数 (by shany  shang)

 

上一篇:常用激活函数总结


下一篇:激活函数