作 者：崔金满
单 位：燕山大学
论文地址：https://arxiv.org/pdf/2105.14924.pdf
代码地址：https://github.com/RunxinXu/GIT (Will be released soon)
数据集：Chinese financial documents
Abstract
篇章级事件抽取旨在从整篇文章中识别出事件信息。现有的方法面临的两个挑战是：
① 目标 事件元素可能分散在各句子之间，需要模型对cross-sentence的上下文有全面的理解；
② 一个文档中可以同时包含多个相关事件，对事件之间的相互依赖关系进行建模仍然是篇章级事件抽取的一项挑战；
本文提出一种基于异构图的带有跟踪器的交互模型（GIT）来解决上述问题。
Introduction
事件抽取的大部分方法关注于句子级EE，即从单个句子中提取事件。然而，在实际应用场景中，大多数事件元素分布在不同句子中，导致句子级EE模型很难抽取元素位于不同句子中的事件，因此篇章级EE逐渐受到关注。
目前，已经有很多研究者针对篇章级事件抽取（DEE）任务提出自己的方法：如Yang et al[1], Zheng et al[2], Du and Cardie[3]，Du et al[4]等。
本文提出GIT模型实现DEE，贡献为：① 构建了一个具有提及节点和句子节点的异构图交互神经网络，从全局角度联合建模文档中的实体和句子，从而捕捉分散在不同句子中的事件元素的全局上下文；② 为了便于多事件提取，提出了一个Tracker模块，用一个全局记忆模块连续跟踪提取记录，捕获事件之间的相互依赖关系。
Methodology
本文实现DEE任务的目标是处理三个子任务：1）实体提取，即从文档中提取实体作为候选参数；2）事件类型检测；3）事件记录提取，即从实体中为所表达的事件寻找合适的参数。GIT首先通过句子级神经提取器提取语义实体，然后构建一个异构图来建模句子和实体提及之间的交互，并检测文档所表达的事件类型，最后，引入Tracker模块，用全局记忆连续跟踪所有记录，并利用记录之间全局相关性进行多事件提取。
Entity Extraction
首先使用transformer对句子 进行编码，然后将实体提取视为BIO模式的序列标注任务，利用CRF来识别实体。
Heterogeneous Graph Interaction Network
异构图
G
G
G包含文档中的实体提及节点和句子节点，并且多个实体提及和句子之间的交互可以被明确地建模。其中，实体节点嵌入
h
e
0
=
M
e
a
n
(
{
g
j
}
j
∈
e
)
h_e^{0}=Mean(\left\{ g_j \right\}_{j\in e})
he0=Mean({gj}j∈e)，句子节点嵌入
h
s
(
0
)
=
M
a
x
P
o
o
l
(
{
g
j
}
j
∈
s
)
+
S
e
n
t
P
o
s
(
s
)
h_s^{(0)}=MaxPool(\left\{ g_j\right\}_{j \in s})+SentPos(s)
hs(0)=MaxPool({gj}j∈s)+SentPos(s)。四种类型的边分别为：Sentence-Sentence：有效建模文档中任意两个句子之间的长期依赖关系，Sentence-Mention：对特定句子中实体提及的局部上下文进行建模，Intra-Mention-Mention：连接同一个句子中的不同实体，这些实体很可能涉及同一个事件，Inter-Mention-Mention：连接与一个实体对应的实体提及（我的理解是同一个实体，出现在了不同的句子中）。
之后，采用多层GCN对全局交互进行建模，
然后可以得到节点
u
u
u的隐藏状态：
实体提及,
E
i
=
M
e
a
n
(
{
h
j
}
j
∈
M
e
n
t
i
o
n
(
i
)
)
E_i=Mean(\left\{ h_j\right\}_{j \in Mention(i)})
Ei=Mean({hj}j∈Mention(i)) 。由此，句子和实体以上下文感知的方式交互表示。
Event Types Detection
事件类型检测方法：
Event Records Extraction
元素提取顺序是预先定义的，因此提取任务被建模为约束树扩展任务。如图，以“股权冻结”为例，我们首先提取EquityHolder，然后提取FrozeShares和其他。模型首先从一个虚拟节点开始，树通过按照顺序预测元素来展开。由于可能存在多个符合事件元素角色的实体，当前节点将在提取过程中展开多个分支，并将不同的实体分配给当前角色，即多标签分类任务。这种从根节点到叶节点的的路径都被标记为一个事件记录。
由于不同事件记录之间存在广泛的相互依赖性，比如两个事件共享一些事件元素等，本文提出Tracker模块，Tracker模块持续跟踪事件提取记录，在进行事件抽取是将查询全局记忆，从而利用其他记录的相互依赖信息，预测元素角色，从而提升模型的性能。
Experiments
Dataset
Chinese financial documents，包含32040个文档，5个事件类型：股权冻结（EF），股权回购（ER），股权减持（EU），股权增持（EO）和股权质押（EP），35种元素角色。29%的文档包含多事件。
Experiment
模型的整体性能：
基于异构图的消融实验，每次删除一个类型的边，最后删除整个图网络，结果如下图所示，图交互网络能够有效提升模型的性能，且图中各边在EE任务中均起到作用。
基于Tracker的消融实验：
reference
- Yang H, Chen Y, Liu K, et al. Dcfee: A document-level chinese financial event extraction system based on automatically labeled training data[C]//Proceedings of ACL 2018, System Demonstrations. 2018: 50-55.
- Zheng S, Cao W, Xu W, et al. Doc2EDAG: An end-to-end document-level framework for chinese financial event extraction[J]. arXiv preprint arXiv:1904.07535, 2019.
Du X, Cardie C. Document-level event role filler extraction using multi-granularity contextualized encoding[J]. arXiv preprint arXiv:2005.06579, 2020. - Du X, Rush A, Cardie C. Document-level Event-based Extraction Using Generative Template-filling Transformers[J]. arXiv preprint arXiv:2008.09249, 2020.
- Du X, Rush A, Cardie C. Document-level Event-based Extraction Using Generative Template-filling Transformers[J]. arXiv preprint arXiv:2008.09249, 2020.