暴露偏差(Exposure Bias)就是指训练时每个输入都来自于真实样本的标签,测试时输入却是来自上一个时刻的输出。
解决方案:通过概率选择,每次输入时以p的概率选择从真实数据输入,以(1-p)的概率选择从上一时刻输出为输入。类似于bert里面的mask的MLM机制。
2024-01-27 13:03:34
暴露偏差(Exposure Bias)就是指训练时每个输入都来自于真实样本的标签,测试时输入却是来自上一个时刻的输出。
解决方案:通过概率选择,每次输入时以p的概率选择从真实数据输入,以(1-p)的概率选择从上一时刻输出为输入。类似于bert里面的mask的MLM机制。