文章目录
前言
本篇博客主要是对《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》进行了泛读，并对其进行了简单地记录，以帮助大家快速了解此篇论文的要点。
注：论文要点在2.3节辅助句子的构造方法。
一、论文信息
- 论文名：《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》
- 作者：Chi Sun, Luyao Huang, Xipeng Qiu.
- 领域：ABSA
- 关键词：BERT、Aspect-Based Sentiment Analysis、Constructing Auxiliary Sentence
- 发表年份：2019
- 会议/期刊名：NAACL
二、笔记要点
2.1 提出问题
1、基于方面的情感分析（ABSA）旨在识别针对特定方面的细粒度意见极性，是情感分析（SA）的一项具有挑战性的子任务；
2、直接使用预训练模型对ABSA任务效果不佳，我们认为这是由于对预训练的 BERT 模型使用不当造成的。
2.2 目前解决方法
早期：
- 特征工程、神经网络(2014-2017)
- (2018) 将有用的常识知识纳入深度神经网络，以进一步增强模型的结果;
- 优化记忆网络
近年
- ELMo、OpenAI GPT、BERT
2.3 本文方法和创新点
创新点：
本文从方面构造了一个辅助句子，并将 ABSA 转换为句子对分类任务。（由于 BERT 的输入表示可以表示单个文本句子和一对文本句子，我们可以将 (T)ABSA 转换为句子对分类任务并微调预训练的 BERT）
构造方法：
- Sentences for QA-M： 我们希望从目标方面对生成的句子是一个问题，格式需要相同。（For example,for the set of a target-aspect pair (LOCA TION1,safety), the sentence we generate is “what do you think of the safety of location - 1 ?”）
- Sentences for NLI-M： 此时创建的句子不是标准句，而是一个简单的伪句，以(LOCATION1,safety)对为例：辅助句是：“location-1-safety”。
- Sentences for QA-B： 对于 QA-B，我们添加标签信息并临时将 TABSA 转换为二元分类问题（标签 ∈ {yes, no}）以获得概率分布。 此时，每个目标方面对将生成三个序列，例如“位置-1的方面安全的极性为正”、“位置-1的方面安全的极性为负”、“位置-1的方面安全的极性为无”。对于生成三个序列（正、负、无）的目标方面对，我们采用匹配分数最高的序列类别作为预测类别。
- Sentences for NLI-B： NLI-B和QA-B的区别在于辅助句从疑问句变成了伪句。辅助句是：“位置-1-安全-积极”、“位置-1-安全-消极”和“位置-1-安全-无”。
2.4 模型结构
对BERT模型进行微调
2.5 实验结果
数据集：
- SentiHood
- SemEval2014 Task 4
模型对比：
Exp-I: TABSA：
LR、LSTM-Final、LSTM+TA+SA、SenticLSTM、Dmu-Entnet
Exp-II: ABSA:
SemEval-2014任务4的基准是Pontiki等人（2014年）和TAE-LSTM（Wang等人，2016年）中表现最好的两个系统：XRCE、NRC-Canada
实验结果：
- SentiHood上 TABSA 的表现结果
- ABSA：Test set results for Semeval-2014 task 4 Sub-task 3：Aspect Category Detection
- ABSA：Test set accuracy (%) for Semeval-2014 task4 Subtask 4: Aspect Category Polarity
2.6 总结和思考
总结：
构建了一个辅助句子，将 (T)ABSA 从单句分类任务转换为句子对分类任务，经过微调预训练模型取得了很好的效果；今后，将这种转换方法应用到其他任务。
思考：“为什么BERT-Pair的实验效果好很多？”
一方面，我们将目标和方面信息转换为辅助句，相当于指数式地扩展语料库；另一方面，BERT 模型在处理句对分类任务方面具有优势。
总结
以上就是本篇博客的全部内容了，希望对你有所帮助。