Pytorch-Lightning训练技巧

梯度累计

• 在Trainer中设置accumulate_grad_batches=k，可以使得模型在进行k个batch_size后再进行反向传播。
• 假设batch_size=N，这样的效果相当于batch_size=k*N。

# 默认没有梯度累计
trainer = Trainer(accumulate_grad_batches=k)

梯度裁剪