https://arxiv.org/pdf/2106.09895
先指出TPLinker存在的问题:为了避免曝光偏差,它利用了相当复杂的解码器,导致了稀疏的标签,关系冗余,基于span的提取能力差
作者提出新的模型,包括三部分:
- Potential Relation Prediction
- Relation-Specific Sequence Tagging
- Global Correspondence
对于主客体对齐,设计了一个关系无关的全局对应矩阵,用于确定特定的主客体。
给定一个句子,模型先预测一个可能存在关系的子集,以及得到一个全局矩阵。
然后执行序列标注,标注存在的主体客体。
最后枚举所有实体对,由全局矩阵裁剪。
尽管它引入了通常提到的曝光偏差,但是仍有优越性。
编码器
bert
Potential Relation Prediction预测关系
首先预测潜在关系的子集,只需要从这些潜在实体里提取子集。
给定embedding h,潜在关系预测模块如下:
问题建模为多标签二分类任务,比如有56种关系,那就有56个sigmoid。
如果概率超过阈值就认为存在关系,否则标记为0。
接下来只需要应用抽取的子集对应的embedding,而不是所有embedding
Relation-Specific Sequence Tagging
依次解码主体和客体,是因为解决实体重叠问题。
因为crf无法解决实体重叠问题。不使用传统的lstm-crf做命名实体识别,而是直接上全连接。
Global Correspondence
上一步获得了主体和客体,随后用一个全局通信矩阵,确定正确的实体对。
全局通信矩阵的学习,和第二步的Potential Relation Prediction学习过程一样。
首先列举所有可能的主客体对,同样设定超过阈值就保留,否则丢弃。
三个任务联合训练
损失函数是: