多层感知机
激活函数及其选择
1.relu（大于0梯度为1，小于等于0梯度为0）
2.sigmoid（可以将元素值变为0到1）
3.tanh（可以将元素值变为-1到1）
激活函数的选择
relu只能用于隐藏层
sigmoid，tanh存在数值过大或者过小梯度消失的问题，但sigmoid函数用于二分类效果好
1.relu（大于0梯度为1，小于等于0梯度为0）
2.sigmoid（可以将元素值变为0到1）
3.tanh（可以将元素值变为-1到1）
relu只能用于隐藏层
sigmoid，tanh存在数值过大或者过小梯度消失的问题，但sigmoid函数用于二分类效果好