李宏毅2021春机器学习课程笔记--类神经网络(四)

视频链接:https://www.bilibili.com/video/BV1Wv411h7kN?p=14&spm_id_from=pageDriver

如何分类

分类与回归

李宏毅2021春机器学习课程笔记--类神经网络(四)
class 不能单纯根据123来分类,会有关系远近的误导,一般采用one-hot。(单位向量)
李宏毅2021春机器学习课程笔记--类神经网络(四)
a1/a2/a3 ×不同的weight,产生不同组的数字

对于分类,y为向量,且最后常用soft-max
yhat只有0/1 而y’是任何值,所以进行一个归一化,变成概率,且会拉远数据之间的距离,更容易分类

李宏毅2021春机器学习课程笔记--类神经网络(四)
当只有两类时,等价于 sigmoid

Loss

最小的交叉熵等价于去最大化 likelihood(可能性 似然)
(极大似然估计,通俗理解来说,就是利用已知的样本结果信息,反推最具有可能(最大概率)导致这些样本结果出现的模型参数 通过实验选取参数)
李宏毅2021春机器学习课程笔记--类神经网络(四)
(对于pytorch,其内置的cross-entropy包含了soft max)
loss时估计label与predict的距离
李宏毅2021春机器学习课程笔记--类神经网络(四)
举例说明 cross的优点,有斜率不容易卡住

上一篇:Spring、Spring MVC、MyBatis整合文件配置详解2


下一篇:联邦学习论文研究(基于卷积神经网络的联邦学习算法研究)