深度学习-Softmax回归

Softmax回归虽然叫做回归,但其实是一种分类。

使用Softmax操作自得到每个类的预测置信度。

回归与分类

回归估计一个连续值

分类预测一个离散类别

深度学习-Softmax回归

怎么从回归过渡到分类?

深度学习-Softmax回归

无校验比例:

深度学习-Softmax回归 

校验比例: 

深度学习-Softmax回归 

 Softmax与交叉熵损失:(衡量预测和标号的区别)

深度学习-Softmax回归

 

损失函数:

下列图中,蓝色表示真实值y取0时的函数图像;

绿色是对应的似然函数

橙色是损失函数的梯度 

第一种:均方损失函数

深度学习-Softmax回归

似然函数为一个高斯分布。 

 

第二种: 

深度学习-Softmax回归

第三种:Huber's Robust Loss(对前两种的综合)

深度学习-Softmax回归 

Softmax从零开始实现: 

深度学习-Softmax回归

深度学习-Softmax回归

深度学习-Softmax回归 

深度学习-Softmax回归 

深度学习-Softmax回归 

深度学习-Softmax回归

深度学习-Softmax回归 

深度学习-Softmax回归 

Softmax的简洁实现:

深度学习-Softmax回归

深度学习-Softmax回归

深度学习-Softmax回归

深度学习-Softmax回归

 

 

 

 

 

 

 

上一篇:关于word2vec负采样的简单理解


下一篇:pytorch训练损失为NAN(NLLLoss)