「自然语言处理(NLP)」---亚马逊QA【含源码】 && 视觉问答QAA

2023-08-27 09:17:46

来源：AINLPer微信公众号
编辑: ShuYini
校稿: ShuYini
时间: 2019-8-24

引言

继续两篇文章分享，第一篇主要是卡耐基梅陇大学针对亚马逊平台上问题重复回答的痛点，提出了基于评论的QA模型任务，即利用先前对某一产品的问答，QA系统自动总结出一个答案给客户。第二篇，为有效聚焦图像内容，提出了一种与问题无关的注意力机制（QAA），实验发现，合并互补的QAA可以使最先进的VQA模型表现得更好，并为简化的VQA模型提供了重要的支持。

First Blood

TILE: AmazonQA: A Review-Based Question Answering Task
Contributor : 卡耐基梅隆大学（Carnegie Mellon University）
Paper: https://arxiv.org/pdf/1908.04364v1.pdf
**Code:**https://github.com/amazonqa/amazonqa

文章摘要

背景：每天都有成千上万的顾客针对亚马逊页面上的产品提出问题。如果他们幸运的话，一段时间过后会有一位知识渊博的客户回答他们的问题。由于许多问题可以根据已有产品的评价进行回答。方法：为此提出了基于评论的QA任务。给定一个评论语料库和一个问题，QA系统自动综合一个答案。为此，我们引入了一个新的数据集，并提出了一种结合信息检索技术来选择相关评论(给定问题)和“阅读理解”模型来综合答案(给定问题和评论)的方法。

本文两大看点

1、引入新的数据集。该数据集由923k个问题、360万个答案和14M条评论组成，涵盖156k个产品。基于著名的Amazon数据集，我们收集额外的注释，根据可用的评论将每个问题标记为可回答的或不可回答的。
2、部署系统。该系统首先将问题分类为可回答的，然后尝试生成一个答案。值得注意的是，与许多流行的QA数据集不同，这里的问题、段落和答案都是从真实的人类交互中提取的。

部署系统

上图是本文系统的概念图，该系统可以利用现有的用户评论，在社区问题回答平台中为用户问题提供随需应变的即时答案。基于设计此类系统的可能性，我们引入了基于评审的社区问答任务:给定一组产品评审和一个关于特定产品的问题，生成一个信息丰富的自然语言答案。

数据集方面，依据[McAuleyandYang,2016]，为自动社区问答创建了一个新的资源数据集，在问答(QA)和产品评论数据集的基础上，我们进行了额外的精选和注释。我们的资源数据集AmazonQA提供了以下独特的特性:

(i)它完全从现有的真实世界数据中提取;
(ii)它可能是最大的具有描述性答案的公共QA数据集。

在模型训练方面，为了方便在数据集上对复杂的基于机器学习的QA模型进行训练，我们提供了丰富的预处理，基于信息检索(IR)技术为每个问题提取*评论片段，过滤异常值，并构建一个可回答分类器，以便仅针对可回答的问题对QA模型进行训练。此外，我们还实现了许多基于启发式和神经的QA模型，用于对该数据集中一些性能最佳的现有QA模型的性能进行基准测试。我们还提供专家和社区问答平台用户的人性化评价。
本文训练的三种模型。

实验结果：

为了评估生成答案的能力，我们训练了一组模型，用于生成答案(语言建模)和条件语言建模(序列到序列转换)。如果a是一个答案，q是对应的问题，R是对产品的一组评论，我们训练模型来近似条件分布: $P(a)$ P(a), $P(a | q)$ P(a∣q)和 $P(a | q,R)$ P(a∣q,R)。其中下图是 $P(a | q,R)$ P(a∣q,R)模型的示意图概述。为评估它们在这项任务中的性能，我们还实现了阅读理解(RC)模型且该模型基于span-QA数据集可以得到很好地结果。
在测试集上，三种语言模型的复杂度： R-Net采用不同跨度生成启发式监督在测试集上性能： AmazonQA测试集上各种方法的性能和复杂性：

Double Kill

TILE: Question-Agnostic Attention for Visual Question Answering
Contributor : Australian National University（澳大利亚国立大学）
Paper: https://arxiv.org/pdf/1908.03289v1.pdf
Code: None

文章摘要

视觉问题回答(VQA)模型使用注意机制来发现与回答特定问题最相关的图像位置。为此，提出了几种多模态融合策略，从相对简单的操作(如线性和)到更复杂的操作。由此产生的多模态表示定义了一个中间特征空间，用于捕获视觉和语义特征之间的相互作用，这有助于选择性地聚焦图像内容。在本文中，我们提出了一个与问题无关的注意机制，它与现有的依赖于问题的注意机制相辅相成。我们提出的模型解析对象实例以获取“对象映射”并将此映射应用于可视化特征以生成问题无关注意（QAA）特征。与端到端学习的依赖于问题的注意方法相比，提出的QAA不涉及问题特定的训练，并且可以作为通用的轻量级预处理步骤容易地包含在几乎任何现有的VQA模型中，从而为训练增加了最小的计算开销。此外，当与依赖于问题的注意力相互补充使用时，QAA允许模型关注包含可能被学习的注意表示所忽略的对象的区域。通过对VQAv1，VQAv2和TDIUC数据集的广泛评估，实验结果发现，合并互补的QAA可以使最先进的VQA模型表现得更好，并为简化的VQA模型提供了重要的支持，使其能够与高度复杂的融合策略相媲美。

本文三大看点

1、一个简单的VQA预处理步骤，被称为问题无关注意力（QAA），它定位图像中的对象实例而不管问题如何；
2、模块化共注意架构，允许任何现成的VQA模型结合互补的QAA功能
3、对VQA数据集和TDIUC数据集进行大量实验，得出了使用互补QAA功能的有效性，特别是帮助简单的VQA模型实现了近乎最先进的性能。

问题无关注意力架构（QAA）

上图中，QAA特征是使用实例分割（由Mask-RCNN生成）生成的，其目的主要是创建具有相同卷积特征映射分辨率的二进制对象映射。对象映射作为掩模被应用为整个图像的卷积特征图（由ResNet生成）上。这种模块化的注意力以最小的训练成本提供了强大的改进，同时可以在许多VQA基准上与现有的VQA模型互补使用。

实验结果

在VQA数据集上使用互补的QAA特性时不同多模态操作的比较。在VQAv2 Test-dev和Test-std数据集上对我们提出的QAA模型与最先进的单一(非集成)VQA模型进行了比较。在TDIUC数据集的测试集上对我们的QAA模型进行了评估，并与最新的方法进行了比较。在VQAv2 valset上的定性结果证明了互补QAA的有效性。学习空间注意(第2列和第5列)关注有或没有对象的区域，而QAA map关注对象。