一、数学先验知识：

 

 

二、激活函数推导

a)、Relu

 

 

 

 

b)、Leaky Relu

 

 

c)、ELU

用公式(1-1)中e^x-1代替Leaky Relu 中x<0时的x，则有

 

 

 

 

d)、其他激活函数

 

 

对这个式子进行化简，看看其等价于什么？当然，前提默认是在当