目录

• 1. 为什么需要激活函数
  • 1.1. ReLU
  • 1.2. sigmod
  • 1.3. tanh
• 2. Keras内置的损失函数
  • 2.1. Keras core Loss
  • 2.2. mean_squared_error
  • 2.3. mean_absolute_error
  • 2.4. binary_crossentropy
  • 2.5. categorical_crossentropy

1. 为什么需要激活函数

在神经网络中，对于图像，我们主要采用了卷积的方式来处理，也就是对每个像素点赋予一个权值，这个操作显然就是线性的。但是对于我们的样本来说，不一定是线性可分的，为了解决这个问题，我们可以进行线性变化，或者我们引入非线性因素，解决线性模型所不能解决的问题。

这就是为什么要有激活函数：激活函数是用来加入非线性因素的，因为线性模型的表达力不够。

所以激活函数，并不是去激活什么，而是指如何把“激活的神经元的特征”通过函数把特征保留并映射出来（保留特征，去除一些数据中是的冗余），这是神经网络能解决非线性问题关键。

1.1. ReLU

简称为“抹零”