常用激活函数

1. ReLU函数

ReLU(x)=max(x,0).

导数图像如下：

2. sigmoid函数

导数图像：

3. tanh函数

导数图像：