论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

中文题目:基于Bi-LSTM的深度记忆网络的个性化上下文感知引文推荐

论文链接:Deep memory network with Bi-LSTM for personalized context-aware citation recommendation - ScienceDirect

这篇论文发表在 2020年Neurocomputing期刊,SCIE收录,中科院分区二区

摘要:数据的爆炸式增长导致研究人员浪费时间和精力去寻找他们需要的论文。上下文感知的引文推荐旨在通过分析引文上下文并提供推荐论文列表来解决这一问题。本文提出了一种基于端到端记忆网络的上下文感知的引文推荐模型。该模型基于双向长短期记忆(Bi-LSTM),分别学习论文和引文上下文的表征。特别是在引文上下文和论文的分布式矢量表示中,我们联合整合了作者信息和引文关系。然后基于计算多层记忆网络计算它们之间的连续相关性。我们还在三个真实世界的数据集上进行实验,以评估我们的模型的性能。

出发点:把上下文感知的引文推荐作为一个问答问题,我们要问的是,给定的引文上下文引用每篇论文的可能性有多大,而论文语料库是故事,最终排名分数是答案。最近的研究证明,记忆网络在问答区域表现良好[20-23],能够捕获问题子集的差异。记忆网络包含多个层次,也可以有效地捕捉问题(引文上下文)和每个故事(语料库中的每一篇论文)之间复杂的语义关系。

任务:上下文感知引文推荐模型的任务是:有一个论文语料库D,一个查询引用上下文c,作者网络Gad和论文引用网络Gdd,我们的上下文感知引文推荐的目的是从论文语料库D中找出最适合引文上下文c的论文。

方法:图2显示了我们模型的基本流程。我们可以看到我们的模型包括三个主要模块。首先是内容嵌入模块,利用Bi-LSTM获取论文和引文上下文的内容表示。第二部分是个性化嵌入模块,通过整合个性化的作者和论文引文信息,构建论文和引文上下文的最终表示。第三部分是多层MemN2N模块。我们将单层MemN2N扩展为具有三跳的多层版本,并在该模块中预测最终的推荐列表。这三个模块都是神经网络,并适当地整合在一起。

论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

 

内容嵌入模块:我们采用Bi-LSTM来构造引文上下文序列表示。

论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

 个性化的嵌入模块:研究者的个人偏好对引文的选择有很大的影响。研究人员引用之前引用过的论文的可能性很大。个性化嵌入模块体系结构如图4所示。

论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

多层MemN2N模块: 该模块为查询引用上下文c生成最终的推荐结果。它使用个性化嵌入模块的输出作为输入。多层MemN2N模块的结构如图5所示。

论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

这个模块主要有四个步骤。步骤1:输入记忆表示。步骤2:输出记忆表示。 步骤3:堆叠记忆层。步骤4:生成最终预测。

训练:模型通过最小化预测答案a和真实数据之间的交叉熵误差来训练的。训练目标函数为: 

论文阅读笔记-Deep memory network with Bi-LSTM for personalized context-awarecitation recommendation

结论:本文将记忆网络和Bi-LSTM结合起来,设计了一个基于深度记忆网络的上下文感知引文推荐模型。它还集成了个性化的作者和引文关系,以获得引文上下文和论文在高水平上的有效表示。我们还堆叠记忆层来提高学习能力。在AAN、DBLP和RefSeer数据集上的实验结果表明了模型的有效性。在未来,我们计划利用图神经网络来探索论文与引文上下文之间更深层次的语义关系。 

上一篇:吴恩达_MIT_MachineLearning公开课ch02(待补)


下一篇:opensva 使用笔记2--扫描网络漏洞