方面级情感分析论文泛08:Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

提示1:原文链接
提示2:代码链接

文章目录


前言

  本篇博客主要是对《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》进行了泛读,并对其进行了简单地记录,以帮助大家快速了解此篇论文的要点。

注:论文要点在2.3节辅助句子的构造方法。


一、论文信息

  • 论文名:《Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》
  • 作者:Chi Sun, Luyao Huang, Xipeng Qiu.
  • 领域:ABSA
  • 关键词:BERT、Aspect-Based Sentiment Analysis、Constructing Auxiliary Sentence
  • 发表年份:2019
  • 会议/期刊名:NAACL

二、笔记要点

2.1 提出问题

  1、基于方面的情感分析(ABSA)旨在识别针对特定方面的细粒度意见极性,是情感分析(SA)的一项具有挑战性的子任务;
  2、直接使用预训练模型对ABSA任务效果不佳,我们认为这是由于对预训练的 BERT 模型使用不当造成的。

2.2 目前解决方法

早期:

  • 特征工程、神经网络(2014-2017)
  • (2018) 将有用的常识知识纳入深度神经网络,以进一步增强模型的结果;
  • 优化记忆网络

近年

  • ELMo、OpenAI GPT、BERT

2.3 本文方法和创新点

创新点:

  本文从方面构造了一个辅助句子,并将 ABSA 转换为句子对分类任务。(由于 BERT 的输入表示可以表示单个文本句子和一对文本句子,我们可以将 (T)ABSA 转换为句子对分类任务并微调预训练的 BERT)
构造方法:

  • Sentences for QA-M: 我们希望从目标方面对生成的句子是一个问题,格式需要相同。(For example,for the set of a target-aspect pair (LOCA TION1,safety), the sentence we generate is “what do you think of the safety of location - 1 ?”)
  • Sentences for NLI-M: 此时创建的句子不是标准句,而是一个简单的伪句,以(LOCATION1,safety)对为例:辅助句是:“location-1-safety”。
  • Sentences for QA-B: 对于 QA-B,我们添加标签信息并临时将 TABSA 转换为二元分类问题(标签 ∈ {yes, no})以获得概率分布。 此时,每个目标方面对将生成三个序列,例如“位置-1的方面安全的极性为正”、“位置-1的方面安全的极性为负”、“位置-1的方面安全的极性为无”。对于生成三个序列(正、负、无)的目标方面对,我们采用匹配分数最高的序列类别作为预测类别。
  • Sentences for NLI-B: NLI-B和QA-B的区别在于辅助句从疑问句变成了伪句。辅助句是:“位置-1-安全-积极”、“位置-1-安全-消极”和“位置-1-安全-无”。

2.4 模型结构

  对BERT模型进行微调

2.5 实验结果

数据集:

  • SentiHood
  • SemEval2014 Task 4
    方面级情感分析论文泛08:Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

模型对比:

Exp-I: TABSA:
  LR、LSTM-Final、LSTM+TA+SA、SenticLSTM、Dmu-Entnet
Exp-II: ABSA:
  SemEval-2014任务4的基准是Pontiki等人(2014年)和TAE-LSTM(Wang等人,2016年)中表现最好的两个系统:XRCE、NRC-Canada

实验结果:

  • SentiHood上 TABSA 的表现结果
    方面级情感分析论文泛08:Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence
  • ABSA:Test set results for Semeval-2014 task 4 Sub-task 3:Aspect Category Detection

方面级情感分析论文泛08:Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

  • ABSA:Test set accuracy (%) for Semeval-2014 task4 Subtask 4: Aspect Category Polarity
    方面级情感分析论文泛08:Utilizing BERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence

2.6 总结和思考

总结:

  构建了一个辅助句子,将 (T)ABSA 从单句分类任务转换为句子对分类任务,经过微调预训练模型取得了很好的效果;今后,将这种转换方法应用到其他任务。

思考:“为什么BERT-Pair的实验效果好很多?”
  一方面,我们将目标和方面信息转换为辅助句,相当于指数式地扩展语料库;另一方面,BERT 模型在处理句对分类任务方面具有优势。


总结

  以上就是本篇博客的全部内容了,希望对你有所帮助。

上一篇:数学建模-2014年D题 储药柜的设计


下一篇:电商数据分析