作者：李瑾
单位：燕山大学

---

论文地址

---

目录

• 一、 Dataset
• 二、 Robust Methods and Strategies
• 三、 Major Challenges with Plausible Solutions

这篇论文发表于2020年，详细且全面介绍了答案触发这一任务当前的发展以及面临的挑战。

一、 Dataset

  第一个公开的答案触发数据集WiKiQA 于2015年与答案触发这一任务同时提出，紧接着2016年提出了另一个数据集SELQA。

两个数据集不同点

• 构建方式与数据比例不同：WiKiQA数据集中的问题都是真实的Bing搜索，未经编辑，是真实场景下的数据。该数据集分为两部分，一部分用于答案触发任务，另一部分用于答案选择任务。用于答案触发任务的数据集中有大约60%的问题没有正确答案；SELQA数据集是人工创建的，数据量相比WiKiQA数据集要大得多，正确回答的数据量也相对较多，同时主题也更丰富。这样看来，WiKiQA数据集挑战更大。

两个数据集的数据分布如下：

WiKiQA数据集
SELQA数据集

二、 Robust Methods and Strategies

  最先应用于答案触发的深度神经网络是CNN，接着人们在它的基础上添加人工提取的特征----QLen(Length of Question)、SLen(Length of Candidate Sentences)、QClass(Class of the Questions)，提出了CNN-CNT模型。之后提出了基于子树匹配的CNN，在CNN-CNT的基础上添加了子树匹配，通过计算问答对词嵌入的余弦相似性得到问答匹配分数。

  SELQA-RNN：RNN及其变体LSTM能够挖掘数据中的时序信息，可以有效结合上下文信息。SELQA-RNN利用注意池机制，同时使用门控递归单元作为其记忆单元，注意力机制使SELQA-RNN能够使用问题和候选句子的隐藏状态来联合学习问题和候选句子之间的相似性度量，该方法在不影响性能的情况下提高了学习的收敛速度。
  IARNN-Gate：基于内部注意力的递归神经网络。该模型利用问题的表示为每个候选答案建立GRU门。相比将注意力应用于输入信息，该方法将注意力应用于其GRU内部激活，将注意力信息添加到主动更新门和遗忘门中，该单元同时关注短期、长期和注意力信息。模型结构如下图所示：

  GAT：An End-to-End Deep Framework for Answer Triggering with a Novel Group-Level Objective

  当前，针对答案触发所提出的模型并不是很多，该任务仍没有得到一个很好的解决。不同模型在WiKiQA数据集上的F1值均低于50%，同时精确率也相对较低。下图展示了现有的不同模型在数据集上的表现：

三、 Major Challenges with Plausible Solutions

  作者经过分析提出了该任务当前面临的主要挑战以及可能的解决方案，为后来者提供了方向。

• 句法相似性偏差 ： 据分析，问答对之间的语义相似性更偏向于句法相似性。作者提出了两种可能的解决方案：一是根据问题的认知难度设计模型，在加强简单问题触发的基础上寻求改进以触发更高级的问题。二是在模型设计时候结合句法信息、语义关联性以及认知方法。
• 辅助内容导致偏差：在问答过程中，存在辅助内容（进一步回答问题的部分），这会使模型对于问答相关度的判断出现偏差，为克服这一问题，作者提出可以通过抑制句子中辅助内容的权重来达到抑制辅助内容对模型判断的影响或者通过情景记忆的方法来提高答案触发性能。
• 固定阈值带来的问题：在问答系统中对候选句子进行排序和检索时，设置固定的阈值是一种规范。但这种方法有时会给出低于阈值的肯定答案的假阴性。作者提出，可以在模型的学习过程中试验使用一定范围的阈值，并选择最佳阈值，而不是预先定义它。同时指出，该方法结合注意信息有助于提高答案触发模型的整体性能。