除了之前较为流行的RELU激活函数，最近又新出了几个效果较好的激活函数

一、BERT激活函数

 

二、Mish激活函数

公式如下：

函数图如下：

橙色曲线为：ln(1+e^(x))

蓝色曲线为：Mish函数