文章大纲
自然语言处理基础知识
- 早期自然语言的处理思路可以分为哪两个流派?
答∶1948年，信息论创始人 Claude Elwood Shannon发表论文《通信的数学理论》，其中提到了把自然语言当作一个马尔科夫过程，把概率模型和熵的概念引入到了自然语言处理中。1956年，数学家 Stephen Kleene 发表了论文《神经网络事件表示法和有穷自动机》，提出了正则表达式的概念。语言学家Avram Noam Chomsky 在 1956年提出了上下文无关语法在自然语言处理中的应用。这一系列的研究基本也表明了自然语言处理技术的两大阵营，基于概率的符号派和基于规则的随机派。
- 为什么基于规则的自然语言处理方法应用逐渐减少?
答∶基于规则的方法工作量大，可扩展性不高。比如一些早期的聊天系统只能在特定的领玻表现良好，当稍微超出预定的规则，将系统置于一个比较含糊和不确定的语境时，聊天系统就无法正常聊天了。
- 21世纪以来哪些具有里程碑意义的自然语言处理研究成果?
答∶基于神经网络的语言模型、多任务学习、循环神经网络、词向量、注意力机制等。
- 自然语言处理可以与哪些领域深度结