信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

一、香农信息量、信息熵、交叉熵

香农信息量

设p为随机变量X的概率分布,即p(x)为随机变量X在X=x处的概率密度函数值,随机变量X在x处的香农信息量定义为:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

其中对数以2为底,这时香农信息量的单位为比特。香农信息量用于刻画消除随机变量X在x处的不确定性所需的信息量的大小。如随机事件"中国足球进不了世界杯"不需要多少信息量(比如要不要多观察几场球赛的表现)就可以消除不确定性,因此该随机事件的香农信息量就少。再比如"抛一个硬币出现正面",要消除它的不确定性,通过简单计算,需要1比特信息量,这意味着随机试验完成后才能消除不确定性。

信息熵H(p)

衡量随机变量X(或整个样本空间)的总体香农信息量。信息熵H(p)是香农信息量-logp(x)的数学期望,即所有X=x处的香农信息量的和,即用p(x)加权求和。因此信息熵是用于刻画消除随机变量X的不确定性所需要的总体信息量的大小。其数学定义如下:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

交叉熵

假设q(x)为拟合概念,p(x)为真实分布。q是用来拟合p的概率分布,x属于p的样本空间,交叉熵用于衡量q在拟合p的过程中,用于消除不确定性而充分使用的信息量大小(理解为衡量q为了拟合p所付出的努力,另外注意交叉熵定义里的"充分使用"和信息熵定义里的"所需"的区别,"充分使用"不一定能达到全部,"所需"是指全部)。由于在每一个点X=x处q的香农信息量为-logq(x),也就是在点X=x处,q消除不确定性而充分使用的信息量为-logq(x)(理解为衡量q在X=x处为了拟合p所作的努力。越小越准确,实例可见本文最后),那么就可以计算出在整个样本空间上q消除不确定性而充分使用的总体信息量,即-logq(x)的数学期望,由于每个x的权重为p(x),因此交叉熵H(p,q)为:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

二、KL散度(Kullback–Leibler divergence)

两个概率分布p和q的KL散度也称为相对熵,信息增益,用于刻画概率分布q拟合概率分布p的程度。在生成对抗网络里,p为真实数据的概率分布,q为随机噪声生成数据的概率分布,对抗的目的是让q充分拟合p。在q拟合概率分布p的过程中,如果q完全拟合p,自然有H(p)=H(p,q),如果q拟合p不充分,自然产生信息损耗H(p)-H(p,q),整个信息损耗就是p和q的KL散度。因此p和q的KL散度的定义如下:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

因此散度D(p||q)为信息熵H(p)与交叉熵H(p,q)的差,衡量q拟合p的过程中产生的信息损耗,损耗越少,q拟合p也就越好。很明显散度是不对称的,并不是p和q的距离。

性质:

描述两个概率分布P,Q之间的差异

因为对数函数是凸函数,所以KL散度的值为非负数

相对熵 = 交叉熵 – 信息熵: D(p||q) = H(p,q) – H(p)

有时会将KL散度称为KL距离,但它并不满足距离的性质

1. KL散度不是对称的:KL(A,B) ≠ KL(B,A)

2. KL散度不满足三角不等式: KL(A,B) > KL(A,C)+KL(C,B)

三、JS散度(Jensen-Shannon divergence )

KL散度的缺点:不是距离、不对称。因此引进JS散度的概念,其取值是0到1之间。JS散度的定义如下:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

由定义可以看出,JS散度是对称的,可以用于衡量两种不同分布之间的差异。JS散度用于生成对抗网络的数学推导上。

JS散度和KL散度联系和差异:

1、相同点:

但p和q相同时,这个两个都值为0

2、不同点:随着两个分布差异越来越大,他们的JS散度的值会逐渐增大。但是当他们足够大(极端一点考虑当一个为1一个为0的时候),他们的值就收敛到1了,也就是说他们差异足够大的时候,JS散度会收敛到一个常数。这个时候应该对梯度下降就没有指导意义了。

四、 Wasserstein距离

Wasserstein距离度量两个概率分布之间的距离,定义如下:

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

先要知道的是wasserstein-1 距离是人为定义的对于两个分布Pr和Pg间差异的测量。再来看式子,∏(Pr, Pg)代表对于(x,y)的边缘分布为Pr和Pg的联合分布的集合。我们从这个集合里面任选一个联合分布r,对应这个r联合分布,求出(x,y)服从r这个分布时x,y两个点对于||x-y||的期望值。对于联合分布集合里面所有的联合分布,我们都能求出这样一个期望值,其中最小的那个期望值就是我们要求的wasserstein-1 距离了。

直观上可以把E(x,y)∼γ[||x−y||]理解为在γ这个路径规划下把土堆P1挪到土堆P2所需要的消耗。而Wasserstein距离就是在最优路径规划下的最小消耗。所以Wesserstein距离又叫Earth-Mover距离。

Wessertein距离相比KL散度和JS散度的优势在于:

即使两个分布的支撑集没有重叠或者重叠非常少,仍然能反映两个分布的远近。而JS散度在此情况下是常量,KL散度可能无意义。

五、 GAN相关应用

GAN:Gennerator和Discriminator的KL散度和JS散度解释

Generator中θ的极大似然估计(是求真实分布和生成器分布的KL散度的最小值):

   

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

   

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

   

   

实际应用:

1、交叉熵损失函数的例子解释:损失函数越低越准确

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

   

信息量、信息熵、交叉熵,KL散度,JS散度,GAN相关应用

   

   

   

   

   

   

上一篇:GAN中涉及的信息量,信息熵,交叉熵,KL散度,JS散度等概念


下一篇:海思平台机顶盒适配遥控器流程