这是一个啰嗦鬼写的啰嗦笔记，仅用来备份而已。
-
信息熵
参考：https://baike.baidu.com/item/%E9%A6%99%E5%86%9C%E7%86%B5/1649961?fr=aladdin
一条信息的信息量大小和它的不确定性有直接的关系。
比如说，我们要搞清楚一件非常不确定的事，或是一无所知的事情，需要了解大量的信息。相反，如果对某件事已经有了较多的了解，则不需要太多的信息就能把它搞清楚。所以，从这个角度，可以认为，信息量的度量就等于不确定性的多少。
对于任意一个随机变量 X，它的熵定义如下：变量的不确定性越大，熵也就越大，把它搞清楚所需要的信息量也就越大。
解释：
-
Kullback-Leibler散度（相对熵）