暴露偏差(Exposure Bias)

暴露偏差(Exposure Bias)就是指训练时每个输入都来自于真实样本的标签,测试时输入却是来自上一个时刻的输出。

解决方案:通过概率选择,每次输入时以p的概率选择从真实数据输入,以(1-p)的概率选择从上一时刻输出为输入。类似于bert里面的mask的MLM机制。

上一篇:nodeJs实现微信小程序的图片上传


下一篇:MTK GPIO adb shell 显示与修改