交叉熵损失函数(Cross_entropy loss)的梯度下降法中w和b的梯度问题

# 计算梯度值(?)
def gradient(X, Y_label, w, b):
    # This function computes the gradient of cross entropy loss with respect to weight w and bias b.
    y_pred = forward(X, w, b)
    pred_error = Y_label - y_pred
    w_grad = -np.sum(pred_error * X.T, 1)
    b_grad = -np.sum(pred_error)
    return w_grad, b_grad

推导如下:
交叉熵损失函数(Cross_entropy loss)的梯度下降法中w和b的梯度问题

上一篇:计算几何中的凸包类问题


下一篇:交叉验证(Cross-Validation)