自然语言处理(Natural Language Processing, NLP)也称自然语言理解(Natural Language Understanding, NLU)
自然语言处理研究的内容和面临的困难
1.1 自然语言处理的研究内容
-
机器翻译
(machine translation, MT): 实现一种语言到另一种语言的自动翻译 -
自动文摘
(automatic summarizing或automatic abstracting): 将原文档的主要内容和含义自动归纳、提炼出来,形成摘要或缩写 -
信息检索
(information retrieval):从海量文档中找到符合用户需要的相关文档 -
文档分类
(document categorization) -
问答系统
(question-answering system) -
信息过滤
(information filtering) -
文本挖掘
(text mining) - …
1.2 自然语言处理的几个层次
- 形态学(morphology): 也叫词汇形态学或词法学, 研究词的内部结构, 包括屈折变化和构词法两个部分。
- 语法学(syntax): 研究句子结构成分之间的相互关系和组成句子序列的规则.
- 语义学(semantics):
- 语用学(pragmatics):
1.3 自然语言处理面临的困难
- 歧义消解(disambiguation)
- 未知语言现象的处理