Softmax回归虽然叫做回归,但其实是一种分类。
使用Softmax操作自得到每个类的预测置信度。
回归与分类:
回归估计一个连续值
分类预测一个离散类别
怎么从回归过渡到分类?
无校验比例:
校验比例:
Softmax与交叉熵损失:(衡量预测和标号的区别)
损失函数:
下列图中,蓝色表示真实值y取0时的函数图像;
绿色是对应的似然函数
橙色是损失函数的梯度
第一种:均方损失函数
似然函数为一个高斯分布。
第二种:
第三种:Huber's Robust Loss(对前两种的综合)
Softmax从零开始实现:
Softmax的简洁实现: