论文标题：ERNIE: Enhanced Representation through Knowledge Integration

作者：Yu Sun

作者单位/个人主页：https://dblp.uni-trier.de/pid/62/3689.html

论文档次： CoRR abs收录

论文引用量：250

1.摘要

作者提出了一种新的知识增强语义表示模型ERNIE(Enhanced Representation through kNowl-edge IntEgration)（中文名，文心）。受经典语义表示模型BERT的启发，ERNIE在预训练任务机制上作出了改进，通过知识掩蔽策略增强模型的语义学习，其中知识掩蔽策略包括实体层掩蔽和短语层掩蔽。实验结果表明，ERNIE优于其他基础模型，在自然语言推理、语义相似度、命名实体识别、情感分析和问答等五个中文自然语言处理任务上取得了最新的研究成果。在完形填空测验中，ERNIE具有更强的知识推理能力。

2.问题是什么？

以往的语义表示模型大多通过上下文缺失预测来学习单词的特征，然而这种做法没有考虑单词的先验知识。作者给出了一个具体的例子，在“哈利波特是罗琳写的一系列奇幻小说”这句话中。普通的语义模型无法学习到哈利波特与罗琳的关系。

3. 项目背景

词向量表示的发展，以及继Transformer改进的BERT模型的推广使用。预训练语义表示模型在各项NLP下游任务中与以往的模型相比发挥出更好的性能，且部署相对简单，效率更高。围绕着语义表示模型，各种更加高效、准确语义表示模型被提出。

4. 解决方案

ERNIE通过改进知识掩蔽策略来增加模型的学习能力。具体做法是，通过随机遮掩句中的一组词，并通句中的其他词对遮掩词进行预测来学习单词的特征。其中遮掩策略包含俩种方式，第一种是实体遮掩，及直接遮住实体单词。第二种是遮掩具有一定语义信息的一组词，实验证明，这种方式对中文的语义学习更加有效。

5. 作者的核心思想、创新点

受经典语义表示模型BERT的启发，ERNIE在预训练任务机制上作出了改进，通过知识掩蔽策略增强模型的语义学习，其中知识掩蔽策略包括实体层掩蔽和短语层掩蔽。

6.实验及结论

作者对比主流的语义表示模型Bert，横向对比5种不同的NLP下游具体任务。实验结果表明，对于XNLI、MSRA-NER、ChnSentiCorp和nlpcc-dbqa任务，ERNIE比BERT获得了超过1%的绝对精度提高，作者团队在后续项目开发中证实ERNIE模型在中文领域NLP任务上已经超越了BERT模型。

7.对你的启发

 ERNIE是百度公司在自研发的深度学习框架PaddlePaddle下推出的语义表示模型，直接对标谷歌团队的Bert模型。虽然说学术界上针对Bert模型的改进已存在，但是ERNIE针对了中文的语法特性提出了新的优化。百度国产的深度学习框架以及适配框架中的各种主流深度学习模型打造了一套利于国人学习的知识系统，让我们见识到了国家的强大，有感自豪。这篇论文主对个人来说属于知识储备，且对我将要学习的ERNIE2.0作基础铺垫。面对复杂的任务，能够考虑用更多的语义表示模型测试不同模型的性能。