Intro
交叉熵,用来衡量两个随机变量之间的相似度。
KL散度(相对熵),量化两种概率分布P和Q之间差异。
计算公式
交叉熵
\(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\)
KL散度
\(D_{KL}(p||q) = \sum_{i=1}^{n}p_{i}*log(p_{i}/q_{i})\)
2024-02-03 13:49:28
交叉熵,用来衡量两个随机变量之间的相似度。
KL散度(相对熵),量化两种概率分布P和Q之间差异。
交叉熵
\(CE(p,q) = - (\sum_{i=1}^{n}[p_{i}*log(q_{i}) + (1-p_{i})*log(1-q_{i})])\)
KL散度
\(D_{KL}(p||q) = \sum_{i=1}^{n}p_{i}*log(p_{i}/q_{i})\)
下一篇:Python爬取视频指南