关于激活函数和损失函数的调研

1) 激活函数(Activation Function

  • 背景

深度学习的基本原理是基于人工神经网络,信号从一个神经元进入,经过非线性的activation function,传入到下一层神经元;再经过该层神经元的activate,继续往下传递,如此循环往复,直到输出层。正是由于这些非线性函数的反复叠加,才使得神经网络有足够的capacity来抓取复杂的pattern,在各个领域取得state-of-the-art的结果。显而易见,activation function在深度学习中举足轻重,也是很活跃的研究领域之一。目前来讲,选择怎样的activation function不在于它能否模拟真正的神经元,而在于能否便于优化整个深度神经网络。下面我们简单聊一下各类函数的优缺点以及其适用场景。

  • Sigmoid函数
  • Sigmoid函数是深度学习领域开始时使用频率最高的activation function
  • Pros

        它是便于求导的平滑函数,其导数为

l  Cons

l  容易出现gradient vanishing

l  函数输出并不是zero-centered

l  幂运算相对来讲比较耗时

l  适用场景:常用于输出层,多应用在二分类问题、逻辑回归任务及其他神经网络领域

 

 

 

上一篇:WebStorm for Mac - 破解注册激活版下载


下一篇:ubuntu20.04总是弹出“Activation Network connection error”错误