作者：凯
单位：燕山大学
code:https://github.com/thunlp/fewrel
paper:https://www.aclweb.org/anthology/D19-1649.pdf
FewRel 2.0: Towards More Challenging Few-Shot Relation Classification
问题
小样本关系分类有两个挑战：
- 只有少量实例的情况下，模型是否可以使用新的领域
- 模型是否可以探索新的关系(以上都不是， none-of-the-above)
我们在测试集中增加了一些新领域的数据得到了FewRel2.0数据集。我们的研究要求更多地关注和进一步努力这两个问题。
介绍
小样本学习，只根据少量训练实例这需要模型处理新的分类任务，近年来引起了很多关注。我们提出了FewRel2.0数据集。
表中展示了一个2way1shot 的例子，其中蓝色代表头实体，红色代表尾实体。该数据集包含两个内容。(1)小样本的域自适应。(2)对以上都不是任务的推理。
该图说明了当前最好的小样本算法在两个任务上的差距。
Few-shot domain adaptation(few-shot DA)：在FewRel数据集的基础上增加了一些跨领域的数据，(这是由于FewRel1.0是来自WIKI数据集上，2.0是融合了多个数据集)
Few-shot none-of-the-above detection (fewshot NOTA)：最初的N-way K-shot任务是N个类别，每个类别K个实例，接着判断查询集所属于的类别（假设全部都在N类中）。在小样本NOTA任务中，查询集的实例不一定属于关系N类中。这就带来了很大的挑战。鉴于之前没有人研究相关问题，仍有很大探索空间。
FewRel 2.0
原始的FewRel数据集的训练和测试集都是通过手动标注，来自Wikidata数据集。换句话说，它们来自同一个域，但在真实的场景中，我们可能会在一个域上训练模型，并在不同的域中进行Few-shot的学习。例如，我们可以在*培训大量数据和充分注释的模型，然后在数据稀疏性的一些域名，如文学，金融和医学等域名进行少量学习。注意，这些数据集不仅可以在形态和语法中彼此差异很大，但在这些域上定义的关系集之间也存在很多差异，这使得在不同域中的传输知识更具挑战性。
所以我们使用FewRel1.0作为训练集， (Hendrickx et al.,2009) 的数据集作为验证集，人工重新标注一个新的测试集，因为他们均来自不同的域。
以上都不是任务的推理：关系集定义是
r
∈
{
r
1
,
r
2
,
.
.
.
,
r
N
,
NOTA
}
r \in \{r_1,r_2,...,r_N,\text{NOTA} \}
r∈{r1,r2,...,rN,NOTA}注意，这里和1.0数据集中关系集的定义不一样
r
∈
{
r
1
,
r
2
,
.
.
.
,
r
N
}
r \in \{r_1,r_2,...,r_N\}
r∈{r1,r2,...,rN}
BERT-PAIR模型
从解决N-way K-shot任务转变为(N+1)-way K-shot任务，其中(N+1)代表原有关系加NOTA关系。由于NOTA的支持数据实际属于几个不同的关系，并且散布在特征空间中，因此难以进行分类。
为了解决域自适应和NOTA关系的问题，本文提出BERT-PAIR模型，基于bert做句子分类模型，我们将每个查询实例与所有支持实例配对，将每对作为一个序列连接，并将连接序列发送到BERT序列分类模型，以获得表示同一关系的两个实例的分数。
y是预测的标签，B代表bert，x代表查询实例，
x
r
j
x^j_r
xrj代表支持集实例，
a
r
a_r
ar代表在每个拼接句子的得分，p代表查询实例在该类关系的可能性。NOTA的得分如下面公式计算得到。
在FewRel1.0和2.0数据集上的结果：
经过分析可以有如下发现：所有模型在不同域的数据集上遭受了巨大的影响。且本文提出的模型性能最好。
不同NOTA率对模型准确率造成的影响：