文章目录
1 简介
论文题目：Zero-Shot Transfer Learning for Event Extraction
论文来源：ACL 2018
论文链接：https://arxiv.org/pdf/1707.01066.pdf
代码链接：https://github.com/wilburOne/ZeroShotEvent
1.1 创新
- 将事件抽取定义为generic grounding problem(溯源问题)，映射每一个事件提及到一个在目标事件本体中的具体类型。
- 提出一个可迁移zero-shot的框架，将事件提及和类型映射到同一个语义空间，根据相似性得到相应的类型。不需要人工标注就能应用到未见过的事件类型中。
2 方法
给定一个句子，首先使用AMR parsing获取候选触发词和论元，然后word sense disambiguation (WSD)工具对词义进行消岐和链接到OntoNotes。将映射到OntoNotes上的名词和动词、可以与FrameNet中的动词或名词词汇单元匹配的单词作为候选触发词。触发词在AMR结构上的子集作为候选论元。整个框架如上图，主要包括下面两个部分：
- 触发词和类型结构的组成：对于每个候选触发词t，使用AMR parsing将其结构 S t S_t St表示为三元组<AMR概念，关系，概念>(如上图中的<dispatch-01, :ARG0, China>),对于目标事件本体中的每个类型y，将其结构表示为二元组<事件类型，论元角色>(如上图中的<Transport_Person, Destination>)，事件提及结构 < w 1 , λ , w 2 > <w_1,\lambda,w_2> <w1,λ,w2>和事件类型结构 < y , r > <y,r> <y,r>的向量表示公式如下：
|
|
|
- 触发词和论元分类：输入为一个元组序列，经过卷积和max池化得到新的向量表示，然后拼接相应词向量进行相似性计算，使用hinge ranking loss进行优化，公式如下：
|
|
|
为了防止过拟合，将一些负样本(没有类型)加入训练过程，使用rank最高的类型(下面公式的 y ′ y' y′)计算loss，触发词loss和论元loss的公式分别如下：
|
|
|
在zero-shot情况下，对于未见过类型的分类公式如下(
y
^
(
t
′
,
k
)
表
示
对
t
′
预
测
的
第
k
个
类
型
)
\widehat{y}(t',k)表示对t'预测的第k个类型)
y
(t′,k)表示对t′预测的第k个类型)：
3 实验
实验数据集为ACE 2005，数据统计和实验结果如下(A、B、C、D表示选择的事件类型数分别为1，3，5，10)：为了评估模型在相似和不同的未见类型上的性能，在Justice事件的四个子类型事件(Arrest-Jail,
Convict, Charge-Indict, Execute)训练模型,在不同类型事件上的效果如下图：
人工构建一个新的事件本体，包含33个ACE事件类型和论元角色和1161个FrameNet中的frame，使用上述实验配置D中的数据进行训练，对比的方法使用全部的其余ACE事件进行训练，在150个测试句子上的实验效果如下：
下图为LSTM的学习曲线，可以发现不使用任何未见事件的数据，提出的方法也能得达到不同的性能。
AMR的消融实验如下图：