Don’t Take the Easy Way Out:Ensemble Based Methods for Avoiding Known Dataset Biases论文阅读
摘要：
最先进的模型通常会利用数据中的表层模式，这些模式通常无法很好地推广到域外或对抗性环境中。。例如，文本蕴涵模型常常学习到特定的关键词隐含着隐含的含义，而视觉问答模型则学习预测原型答案，而不考虑图像中的证据。在本文中，我们证明，如果我们事先知道这些偏差，我们可以训练一个模型，使其对域移位更为鲁棒。我们的方法分为两个阶段：我们（1）训练一个纯粹基于数据集偏差进行预测的朴素模型，（2）训练一个健壮的模型，作为与朴素模型集成的一部分，以鼓励它关注数据中更可能泛化的其他模式。
方法
这一部分描述了我们的方法的两个阶段，（1）建立一个仅问题的模型，（2）使用它通过融合训练一个健壮的模型
1、训练仅问题模型
第一阶段的目标是构建一个在训练数据上表现良好的模型，但是在域外测试集上可能表现很差。因为我们假设我们无法访问测试集中的示例，所以我们必须应用先验知识来实现这个目标。最直接的方法是识别一组特征，这些特征在训练期间与类标签相关，但已知与测试集上的标签不相关或反相关，然后根据这些特征训练分类器。
2、训练一个健壮的模型
这一阶段训练出一个健壮的模型，避免使用仅偏差模型学习的方法。
2.1 问题定义
我们假设n个训练例子<x1,x2,…xn>,每个都有一个整数标记yi，其中yi∈{1，2，…,C}，C是类的数目。另外，我们假设一个预先训练的偏偏差预测变量h，其中h（xi）＝bi= ，bij是仅偏差模型对样本i是j类的预测概率。最后，我们有第二个预测函数f，参数为θ，其中
，是类的相似概率分布。 我们的目标是构建一个优化θ的训练目标，以便f可以学习选择正确的类别，而无需使用偏差模型所捕获的策略。
2.2 Learned-Mixin
我们训练h和f的集合。 特别地，对于每个示例，通过组合pi和bi来计算新的类别分布
。 在训练期间，使用计算损耗，并通过f反向传播梯度。 在评估期间，单独使用f。 我们提出了几种不同的组装方法。
我们允许模型明确确定在给定输入的情况下信任偏差的程度：
其中g是学习的函数。 我们将g计算为，其中w是学习的向量，hi是模型的最后一个隐藏层，例如xi，并且函数用于防止模型通过将负数乘以负权值来反转其偏向。 用其余的模型参数训练w。 当时，这减少了偏差乘积。这种方法的一个难点是模型可以学习将偏差积分到pi中并将g（xi）设置为0。
2.2 Learned-Mixin+H
为了防止learned-mixin集合忽略bi，我们对损失添加了熵罚：
其中是熵，w是超参数。 惩罚熵会鼓励偏差分量不均匀，从而对整体产生更大的影响。