目录

• 信息量
• 信息熵
• 交叉熵
• KL散度
• JS散度

@(GAN中涉及的信息量，信息熵，交叉熵，KL散度，JS散度等概念)
$信息量\to信息熵\to交叉熵\to KL散度\to JS散度$

信息量

$-\log p(x)=\log \frac{1}{p(x)}$

信息熵

$H(p)=H(x)=E_{x~p(x)}[-\log p(x)]=-\int p(x)\log p(x)dx或\sum p(x)\log\frac{1}{p(x)}$

交叉熵

$H(p,q)=-\int p(x)\log q(x)dx或\sum p(x)\log \frac{1}{q(x)}$

KL散度

$H(p)-H(p,q)=-\int p(x)\log p(x)dx-(-\int p(x)\log q(x)dx)$
或
$KL(p||q)=\sum p(x)\log\frac{p(x)}{q(x)}$

JS散度

$JS(p||q)=\frac{1}{2}KL(p(x)||\frac{p(x)+q(x)}{2}+\frac{1}{2}KL(q(x)||\frac{p(x)+q(x)}{2})$

信息量代表的是一种不确定性；信息熵代表的是不确定性的期望值；KL散度，JS散度，交叉熵都可以用来衡量两个概率分布之间的差异性。

参考：
https://blog.csdn.net/neil3611244/article/details/82829103
码字不易，如果您觉得有帮助，麻烦点个赞再走呗~