Wasserstein距离

1. 概述

Wasserstein距离可以度量两个概率分布之间的距离,由于它的计算过程可以很形象的用挖土填土来解释,故也叫做推土机距离(Earth Mover's distance)。在该距离定义中,一个分布转变为另一个分布的过程和挖土填土的过程十分相似。
举个例子,假设有两个分布P和Q,每个分布各有十铲土,且均将十铲土分为四堆。每一堆土的数量(单位铲)如下所示:

\[\begin{gathered} P_{1}=3, P_{2}=2, P_{3}=1, P_{4}=4 \\ Q_{1}=1, Q_{2}=2, Q_{3}=4, Q_{4}=3 \end{gathered} \]

为让两分布相同,进行如下操作:

  • P1移两铲土到P2,此时P1和Q1均只有1铲土,P1和Q1匹配
  • P2移两铲土到P3,此时P2和Q2均只有2铲土,P2和Q2匹配
  • Q3移一铲土到Q4,此时P、Q分布一致
Wasserstein距离

若我们把 \(P_i\) 和 \(Q_i\) 匹配的代价记做 \(δi\),则 \(\delta_{i+1}=\delta_{i}+P_{i}-Q_{i}\)
在上述例子中:

\[\begin{aligned} &\delta_{0}=0 \\ &\delta_{1}=0+3-1=2 \\ &\delta_{2}=2+2-2=2 \\ &\delta_{3}=2+1-4=-1 \\ &\delta_{4}=-1+4-3=0 \end{aligned} \]

最终得到Wasserstein距离 \(W=\sum\left|\delta_{i}\right|=5\)

参考链接

https://blog.csdn.net/weixin_36482670/article/details/113323913
https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html#wasserstein-gan-wgan

上一篇:Transformer自下而上理解(4) Attention without RNN


下一篇:【图像分割】基于matalb灰狼算法最小交叉熵多阈值图像分割【含Matlab源码 903期】