1. 前言
在深度学习领域，交叉熵（Cross Entropy）常被用作分类问题的损失函数。
为知其所以然，本文将详细讲解交叉熵，熵（Entropy），KL散度（Kullback-Leibler Divergence） 的基本概念，并分析常用交叉熵作为分类问题损失函数的原因。
2. 交叉熵（Cross Entropy）
设向量
p
=
[
p
1
,
p
2
,
⋯
,
p
m
]
T
\bm{p}=[p_1,p_2,\cdots,p_m]^T
p=[p1,p2,⋯,pm]T和
q
=
[
q
1
,
q
2
,
⋯
,
q
m
]
T
\bm{q}=[q_1,q_2,\cdots,q_m]^T
q=[q1,q2,⋯,qm]T表示两个
m
m
m维的离散概率分布。其中，向量
p
\bm{p}
p和
q
\bm{q}
q的元素都非负，且
∑
j
=
1
m
p
j
=
1
,
∑
j
=
1
m
q
j
=
1
\sum_{j=1}^mp_j=1,\sum_{j=1}^mq_j=1
∑j=1mpj=1,∑j=1mqj=1。则向量
p
\bm{p}
p和
q
\bm{q}
q之间的交叉熵定义为：
H
(
p
,
q
)
=
−
∑
j
=
1
m
p
j
⋅
ln
q
j
(
1
)
H(\bm{p},\bm{q})=-\sum_{j=1}^mp_j\cdot\ln{q_j}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(1)
H(p,q)=−j=1∑mpj⋅lnqj (1)
在分类问题中，向量 p \bm{p} p一般是训练数据的标签，即一个独热(one-hot)向量。向量 q \bm{q} q一般是神经网络前向计算的输出；
很容易记忆和理解向量 p \bm{p} p、 q \bm{q} q与数据标签、神经网络输出的对应关系：因为 ln 0 = − ∞ , ln 1 = 0 \ln{0}=-\infty,\ln{1}=0 ln0=−∞,ln1=0，且标签是一个某个元素值为1，其余元素值均为0的独热向量，因此计算神经网络输出与数据标签之间交叉熵时，会依照如上处理。
3. 熵（Entropy）
熵是交叉熵的一种特例：
H
(
p
,
p
)
=
−
∑
j
=
1
m
p
j
⋅
ln
p
j
H(\bm{p},\bm{p})=-\sum_{j=1}^mp_j\cdot\ln{p_j}
H(p,p)=−∑j=1mpj⋅lnpj是概率分布
p
\bm{p}
p的熵，简写为
H
(
p
)
H(\bm{p})
H(p)。
熵可以用来衡量概率分布
p
\bm{p}
p的信息量，详细解释见我的另一篇博客小样本学习(Few-Shot Learning)（二）中3.1.2 Entropy Regularization部分。
4. KL散度（Kullback-Leibler Divergence）
KL散度也被称作相对熵（Relative Entropy），用来衡量两个概率分布的区别有多大。对于离散分布，KL散度的定义为：
K
L
(
p
,
q
)
=
∑
j
=
1
m
p
j
⋅
ln
p
j
q
j
(
2
)
KL(\bm{p},\bm{q})=\sum_{j=1}^mp_j\cdot\ln\frac{p_j}{q_j}~~~~~~~~~~~~~~~~~~~~~~~(2)
KL(p,q)=j=1∑mpj⋅lnqjpj (2)
其中，约定
ln
0
0
=
0
\ln\frac{0}{0}=0
ln00=0。
因为向量 p \bm{p} p和 q \bm{q} q是两个离散概率分布，因此 p j ∈ [ 0 , 1 ] , q j ∈ [ 0 , 1 ] , f o r j = 1 ∼ m p_j\in[0,1],q_j\in[0,1],for~j=1\sim{m} pj∈[0,1],qj∈[0,1],for j=1∼m且 ∑ j = 1 m p j = 1 , ∑ j = 1 m q j = 1 \sum_{j=1}^mp_j=1,\sum_{j=1}^mq_j=1 ∑j=1mpj=1,∑j=1mqj=1，KL散度总是非负的。又因为 ln 1 = 0 \ln{1}=0 ln1=0，根据式(2)可知，当概率分布 p \bm{p} p和 q \bm{q} q越接近（即向量 p \bm{p} p和 q \bm{q} q的每个对应分量值趋近于相等）则 K L ( p , q ) KL(\bm{p},\bm{q}) KL(p,q)越小，而且 K L ( p , q ) = 0 KL(\bm{p},\bm{q})=0 KL(p,q)=0当且仅当 p = q \bm{p}=\bm{q} p=q，即
两个概率分布一致时，它们的KL散度达到最小值。
5. 常用交叉熵作为分类问题损失函数的原因
KL散度可以衡量两个概率分布的区别大小，将KL散度作为损失函数，更新模型参数来最小化损失，可以使神经网络输出的概率分布与数据标签更接近。
根据交叉熵、熵和KL散度的定义可知：
K
L
(
p
,
q
)
=
∑
j
=
1
m
p
j
⋅
ln
p
j
q
j
=
∑
j
=
1
m
p
j
⋅
(
ln
p
j
−
ln
q
j
)
=
∑
j
=
1
m
p
j
ln
p
j
−
∑
j
=
1
m
p
j
ln
q
j
=
−
∑
j
=
1
m
p
j
ln
q
j
−
(
−
∑
j
=
1
m
p
j
ln
p
j
)
=
H
(
p
,
q
)
−
H
(
p
)
KL(\bm{p},\bm{q})=\sum_{j=1}^mp_j\cdot\ln\frac{p_j}{q_j}~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~\\ =\sum_{j=1}^mp_j\cdot(\ln{p_j}-\ln{q_j})~~~~~~~~~~~~~~~\\ =\sum_{j=1}^mp_j\ln{p_j}-\sum_{j=1}^mp_j\ln{q_j}~~~~~~~~~~~\\ =-\sum_{j=1}^mp_j\ln{q_j}-(-\sum_{j=1}^mp_j\ln{p_j})\\ =H(\bm{p},\bm{q})-H(\bm{p})~~~~~~~~~~~~~~~~~~~~~~~~~~
KL(p,q)=j=1∑mpj⋅lnqjpj =j=1∑mpj⋅(lnpj−lnqj) =j=1∑mpjlnpj−j=1∑mpjlnqj =−j=1∑mpjlnqj−(−j=1∑mpjlnpj)=H(p,q)−H(p)
由于熵
H
(
p
)
H(\bm{p})
H(p)是不依赖于
q
\bm{q}
q的常数，一旦固定
p
\bm{p}
p，则KL散度等于交叉熵加上常数。
由于在分类问题中，向量
p
\bm{p}
p一般是训练数据的标签，即
p
\bm{p}
p是固定不变的，因此关于
q
\bm{q}
q优化KL散度等价于优化交叉熵，因此常用交叉熵作为分类问题的损失函数。