【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction

https://arxiv.org/pdf/2106.09895

先指出TPLinker存在的问题:为了避免曝光偏差,它利用了相当复杂的解码器,导致了稀疏的标签,关系冗余,基于span的提取能力差

作者提出新的模型,包括三部分:

  1. Potential Relation Prediction
  2. Relation-Specific Sequence Tagging
  3. Global Correspondence

对于主客体对齐,设计了一个关系无关的全局对应矩阵,用于确定特定的主客体。
给定一个句子,模型先预测一个可能存在关系的子集,以及得到一个全局矩阵。
然后执行序列标注,标注存在的主体客体。
最后枚举所有实体对,由全局矩阵裁剪。
尽管它引入了通常提到的曝光偏差,但是仍有优越性。

【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction

编码器

bert

Potential Relation Prediction预测关系

首先预测潜在关系的子集,只需要从这些潜在实体里提取子集。

给定embedding h,潜在关系预测模块如下:
【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction
问题建模为多标签二分类任务,比如有56种关系,那就有56个sigmoid。
如果概率超过阈值就认为存在关系,否则标记为0。
接下来只需要应用抽取的子集对应的embedding,而不是所有embedding

Relation-Specific Sequence Tagging

依次解码主体和客体,是因为解决实体重叠问题。
【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction
因为crf无法解决实体重叠问题。不使用传统的lstm-crf做命名实体识别,而是直接上全连接。

Global Correspondence

上一步获得了主体和客体,随后用一个全局通信矩阵,确定正确的实体对。
全局通信矩阵的学习,和第二步的Potential Relation Prediction学习过程一样。
首先列举所有可能的主客体对,同样设定超过阈值就保留,否则丢弃。
【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction
三个任务联合训练
损失函数是:
【论文阅读】PRGC: Potential Relation and Global Correspondence Based Joint Relational Triple Extraction

上一篇:leetcode题库学习系列——LCP 07. 传递信息


下一篇:养鱼问题