特点：sigmoid函数和阶跃函数非常相似，但是解决了光滑和连续的问题，同时它还成功引入了非线性。由于其值域处在0~1，所以往往被用到二分类任务的输出层做概率预测。?

缺点：

1. 当输入值大于3或者小于-3时，梯度就非常接近0了，在深层网络中，这非常容易造成“梯度消失”（也就是反向传播时误差难以传递到前面一层）而使得网络很难训练。
2. 其解析式中含有幂运算，计算机求解时相对来讲比较耗时。

1.3.2 Softmax 激活函数

Softmax 又称归一化指数函数， 适用于只有一个正确答案多类别分类问题（例如手写数字）。构建分类器，解决只有唯一正确答案的问题时，用Softmax函数处理各个原始输出值。