论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification


作者:魏启凯 单位:燕山大学


论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

论文:https://arxiv.org/pdf/1906.06678.pdf
code:https://github.com/ZhixiuYe/MLMAN
来源:ACL2019


创新

  1. 提出一种多级匹配和聚合网络,以交互的方式来encode查询集实例和类原型。
  2. 设计了一种辅助loss function。

问题定义
小样本任务是最近两年流行起来的任务,训练集和测试集均分支持集和查询集。
5-way 1-shot
支持集5个类,每个类1个样本,用来训练模型,利用查询集的一个句子来计算其属于支持集中5个类别之一。

MLMAN模型
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

其中,encoder是利用CNN来做,
Local Matching and aggregation是一个局部匹配网络,输入K个支持集实例和一个query,利用注意力机制收集他们之间的局部信息,接着利用embedding代表进行聚合的信息。
instance maching and aggregation 是利用MLP来计算每个query和K个support 之间的匹配信息。接着将权重加起来得到最终的类原型。
class matching 利用一个MLP来计算query和类原型之间的距离。

计算过程
首先聚合K个支持集的实例为一个矩阵C
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

Q是查询句子的矩阵
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

接着通过拼接的方式得到新的Q和C
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

再将最大池化和平均池化引入进来,有利于后面做消融实验。

论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

最终得到类原型向量s。

实验结果
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

FewRel的baselinehttps://thunlp.github.io/1/fewrel1.html,平台提供5way1shot,5way5shot,10way1shot,10way5shot的结果。

测试结果是在FewRel测试集的结果,现在清华官方提供了测试集。

下面是消融实验
论文笔记丨Multi-Level Matching and Aggregation Network for Few-Shot Relation Classification

验证集的结果是在FewRel 验证集上的结果。

上一篇:Learning to Compare: Relation Network for Few-Shot Learning


下一篇:Multi-shot Pedestrian Re-identification via Sequential Decision Making