对batch求算loss时loss是张量形式或是标量有什么不同?

  • 一般情况下我们使用一个batch的数据计算出一个平均的loss,再使用这个loss反向传播求得模型参数的梯度并更新,例如:

    loss = tf.reduce_mean(y - y_pred)	# 文中y和y_pred的shape均为:[b, 1],其中b是batch_size.
    

    这种情况比较好理解,loss只是一个值,其反向传播时对于每个参数也值计算出一个梯度值。

  • 而如果我们没有使用tf.reduce_mean()等类似求平均的操作,即:

    loss = y - y_pred
    

    求出的loss其shape是[b, 1]。即batch中的每一个样本都有一个对应的loss值。这个时候如果我们继续调用:

    grads = tape.gradient(loss, model.trainable_variables)
    optimizer.apply_gradients(zip(grads, model.trainable_variables))
    

    也不会报错,不禁让人疑惑这个tape.gradient()是怎么处理loss不是标量值的情况的。

  • 先说结论:当loss不是单值时tape.gradient(loss, variables)会首先针对loss中每一个单值对variables求梯度得到多套梯度。再对每套梯度对应元素求和合并为一套梯度返回。

  • 验证:
    对batch求算loss时loss是张量形式或是标量有什么不同?
    对batch求算loss时loss是张量形式或是标量有什么不同?

  • 其他补充

    • tf.keras.losses.BinaryCrossentopy等大写字母开头的损失类在我们传入y, y_pred时会自动对所有样本的loss求平均,其返回一个标量的loss。
    • tf.keras.losses.binary_crossentropy()等小写字母开头的函数式接口在我们传入y, y_pred时不会对所有样本的loss求平均,其返回一个张量形式的losses,维度为[batch, 1]。
上一篇:树莓派更改启动为u盘


下一篇:TensorFlow自定义评估指标