1、什么是自然语言处理?
----自然语言处理(natural language processing,NLP)是计算机科学领域与人工智能领域中的一个重要方向。它研究实现人与计算机之间用自然语言进行有效通信的各种理论和方法。NLP是一门荣语言学、计算机科学、数学于一体的科学。NLP并不是一般的研究自然语言,而在于研制能有效地实现自然语言通信的计算机系统,特别是其中的软件系统。因而它是计算机科学的一部分。
----NLP主要应用于机器翻译,舆情监测,自动摘要,观点提取,文本分类,问题回答,文本语义对比,语音识别,中文ocr等方面。
2、为什么要进行自然语言处理?
----NLP的目的是让计算机/机器在理解语言上像人类一样智能。最终目标是弥补人类交流(自然语言)和计算机理解(机器语言)之间的差距。
----有了NLP,有可能完成自动语音,自动文本编写这样的任务。
----尽管人类使用的语言对计算机而言是模糊的,非结构化的,但有了NLP的帮助,我们可以解析这些大型的非结构化数据中的模式,从而更好地理解里面包含的信息。
----自然语言处理提高信息交流的速度。
----…
3、自然语言处理发展的三个阶段?
----早期自然语言处理:
第一阶段(60-80年代):基于规则来建立词汇、句法语义分析、问答、聊天和机器翻译系统。好处是规则可以利用人类的内省知识,不依赖数据,可以快速起步;问题是覆盖面不足,像个玩具系统,规则管理和可拓展一直没有解决。
----统计自然语言处理:
第二阶段(90年代开始):基于统计的机器学习(ML)开始流行,很多NLP开始用基于统计的方法来做。主要思路是利用带标注的数据,基于人工定义的特征建立机器学习系统,并利用数据经过学习确定机器学习系统的参数。运行时利用这些学习得到的参数,对输入数据进行解码,得到输出。机器翻译、搜索引擎都是利用统计方法获得了成功。
----神经网络自然语言处理:
第三阶段(2008年之后):深度学习开始在语音和图像发挥威力。随之,NLP研究者开始把目光转向深度学习。先是把深度学习用于特征计算或者建立一个新的特征,然后在原有的统计学习框架下体验效果。比如,搜索引擎加入了深度学习的检索词和文档的相似度计算,以提升搜索的相关度。自2014年以来,人们尝试直接通过深度学习建模,进行端对端的训练。目前已在机器翻译、问答、阅读理解等领域取得了进展,出现了深度学习的热潮。
学习文章:https://baike.baidu.com/item/%E8%87%AA%E7%84%B6%E8%AF%AD%E8%A8%80%E5%A4%84%E7%90%86/365730