1. 定义

激励函数通常用于隐藏层，是将特征值进行过滤或者激活的算法

2.常见的激励函数

1. sigmoid

(1)sigmoid()

(2)ultra_fast_sigmoid()

(3)hard_sigmoid()

2. others

(1) softplus()

(2)softmax()

(3)relu()

(4)binary_crossentropy()

(5)categorical_crossentropy()

(6)h_softmax()

3. 应用场景

（1）隐藏层：relu， tanh， softplus

（2）分类问题（使用概率激励函数）sigmoid，softmax

（3）回归问题（使用线性）linear