引言

在多分类问题中，一般会把输出结果传入到softmax函数中，得到最终结果。并且用交叉熵作为损失函数。本来就来分析下以交叉熵为损失函数的情况下，softmax如何求导。

对softmax求导

softmax函数为:

$y_i = \frac{e^{z_i}}{\sum_{k=1}^K e^{z_k}}$yi​=∑k=1K​ezk​ezi​​

这里$K$K是类别的总数，接下来求$y_i$yi​对某个输出$z_j$zj​的导数,
$\frac{\partial y_i}{\partial z_j} = \frac{\partial \frac{e^{z_i}}{\sum_{k=1}^K e^{z_k}}}{\partial z_j}$∂zj​∂yi​​=∂zj​∂∑k=1K​ezk​ezi​​​

这里要分两种情况,分别是$i=j$i=j与$i \neq j$i​=j。当$i=j$i=j时,$e^{z_i}$ezi​对$z_j$zj​的导数为$e^{z_i}$ezi​，否则当$i \neq j$i​=j时，导数为$0$0。

当$i = j$i=j，
$\frac{\partial y_i}{\partial z_j} = \frac{e^{z_i}\cdot \sum_{k=1}^K e^{z_k} - e^{z_i} \cdot e^{z_j} }{(\sum_{k=1}^m e^{z_k})^2} \\ = \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} - \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} \cdot \frac{e^{z_j}}{\sum_{k=1}^m e^{z_k}} \\ = y_i - y_i^2 = y_i(1 - y_i)$∂zj​∂yi​​=(∑k=1m​ezk​)2ezi​⋅∑k=1K​ezk​−ezi​⋅ezj​​=∑k=1m​ezk​ezi​​−∑k=1m​ezk​ezi​​⋅∑k=1m​ezk​ezj​​=yi​−yi2​=yi​(1−yi​)

当$i \neq j$i​=j，
$\frac{\partial y_i}{\partial z_j} = \frac{0 \cdot \sum_{k=1}^K e^{z_k} - e^{z_i} \cdot e^{z_j}}{(\sum_{k=1}^m e^{z_k})^2} \\ = - \frac{e^{z_i}}{\sum_{k=1}^m e^{z_k}} \cdot \frac{e^{z_j}}{\sum_{k=1}^m e^{z_k}} \\ = - y_i y_j$∂zj​∂yi​​=(∑k=1m​ezk​)20⋅∑k=1K​ezk​−ezi​⋅ezj​​=−∑k=1m​ezk​ezi​​⋅∑k=1m​ezk​ezj​​=−yi​yj​

对cross-entropy求导

损失函数$L$L为:

$L = -\sum_k \hat y_k \log y_k$L=−k∑​y^​k​logyk​

其中$\hat y_k$y^​k​是真实类别，相当于一个常数，接下来求$L$L对$z_j$zj​的导数

$\frac{\partial L}{\partial z_j} = \frac{\partial -(\sum_k \hat y_k \log y_k)}{z_j} = \frac{\partial -(\sum_k \hat y_k \log y_k)}{\partial y_k} \frac{\partial y_k}{\partial z_j} \\ = -\sum_k \hat y_k \frac{1}{y_k} \frac{\partial y_k}{z_j} \\ = \left(-\hat y_k \cdot y_k(1 - y_k) \frac{1}{y_k} \right)_{k=j} - \sum_{k \neq j} \hat y_k \frac{1}{y_k} (-y_ky_j) \\ = -\hat y_j (1 - y_j) - \sum_{k \neq j} \hat y_k (-y_j) \\ = -\hat y_j + \hat y_j y_j + \sum_{k \neq j} \hat y_k (y_j) \\ = -\hat y_j + \sum_{k} \hat y_k (y_j) \\ = -\hat y_j + y_j \\ = y_j -\hat y_j$∂zj​∂L​=zj​∂−(∑k​y^​k​logyk​)​=∂yk​∂−(∑k​y^​k​logyk​)​∂zj​∂yk​​=−k∑​y^​k​yk​1​zj​∂yk​​=(−y^​k​⋅yk​(1−yk​)yk​1​)k=j​−k​=j∑​y^​k​yk​1​(−yk​yj​)=−y^​j​(1−yj​)−k​=j∑​y^​k​(−yj​)=−y^​j​+y^​j​yj​+k​=j∑​y^​k​(yj​)=−y^​j​+k∑​y^​k​(yj​)=−y^​j​+yj​=yj​−y^​j​

这里用到了$\sum_{k} \hat y_k = 1$∑k​y^​k​=1

可以看到，求导结果非常简单，如果不推倒都不敢信。