自然语言处理NLP学习笔记一:概念与模型初探

  • 前言

先来看一些demo,来一些直观的了解。

自然语言处理:

可以做中文分词,词性分析,文本摘要等,为后面的知识图谱做准备。

http://xiaosi.trs.cn/demo/rs/demo

知识图谱:

https://www.sogou.com/tupu/person.html?q=刘德华

还有2个实际应用的例子,加深对NLP的理解

九歌机器人:

https://jiuge.thunlp.cn/

微软对联机器人:

http://duilian.msra.cn/

  • NLP概述:

自然语言处理,是研究如何利用计算机技术对语言文本(句子,篇章或话语等)进行处理和加工的一门技术。

NLP的关键思想之一是将单词转换为数字向量,然后把这些数字向量放到机器学习模型中进行预测。

深度学习是NLP的关键技术之一。

自然语言处理是构建知识图谱的基础技术。

学科面临的主要挑战:

大量出现的新词语:例:佛系

无处不在的歧义:例:喜欢城市的年轻人

隐喻表达:例:在朋友圈潜水

不同语言的概念不同:翻译之间的理解

对应的核心挑战:

->语义分析

->语用场景的分析

  • NLP应用举例:

一: 汉语分词

1. 最大匹配法(基于规则或模板的方法)

2. 基于n-gram的分词法(传统的统计方法,生成式)

3. 基于神经网络的分词方法(目前最主流的分词方法)

二: 机器翻译:

1. 基于模板/规则的方法

2. 基于语料库的方法

3. 基于神经机器翻译方法

三: 同声翻译:

技术应用现状:

1,各种 输入法;

2,语音

  • 常见的NLP方法:

1.基于规则的方法

2.基于统计学习方法

---------------------------------------

基于统计方法的基本方法/框架:

框架:学习系统->模型->预测系统

原理:训练数据(样本),带标签,预测下一个输入后的输出

如买保险,买与不买是标签,已有买保险数据为样本。我们重点是做好训练模型

常用的统计模型:

模型主要是6,7种,侧重点不同,根据需要选择不同的模型使用即可。

1.统计模型

1) 语言模型(LM)--比较复杂

2) 隐马尔可夫模型(HMM)-----多分类问题(大于2的)

3)K-近邻(KNN)----数据量比较少可选用

4) 朴素贝叶斯法(NB)

5)决策树(DT)

6)最大熵(maximum entropy)

-------二类分类--------

7)支持向量机(SVN)

8)感知机

------序列标注-------

9)条件随机场(CRFConditional random fields)

基于统计学的一个算法,Viterbi算法:每次只保留最佳的算法

已有开源工具一大堆,这里不一一列出。

基于学习的基本方法:

人工神经网络最火的是深度学习

深度学习在2009年才取得重大突破,把识别率提高了百分之十几个点。

神经语言模型:

条件概率模型,统计之前出现次数的概率,预测概率最大化

计算机是没法理解人类语言的(意图),只能把出现概率最大的取出来,那么就需要大量的样本训练他。

神经网络分2种:

浅层学习:LR,SVM,Bayes,boosting

深度学习: CNN,RNN,DBM,AutoEncoder

CNN:卷积 RNN则不会过多约束

2个核心,1是卷积: 实际是一个加权运算;2是最大池化。

RNN:循环 CNN对于输入数据的维度约束是比较严重的,训练是啥,预测就是啥

LSTM(长短记忆神经网络,RNN的一种)核心过程:

3个门,每个门对应一个函数 。每个门的结果要么是0要么是1

遗忘门: 选择哪些遗忘

输入门: 决定输入什么

输出门:决定输出什么

---------------------------------------------------------

笔记:

1. N多的数学公式,要想深入学习,还得学好数学

2. 模型普通人就不要研究了

  • 知识图谱

知识图谱与深度学习相当于两条路在走,未来会深度学习。

深度学习可以用来预测,知识图谱不能,知识图谱类似将所有知识穷举起来,搜索你要的知识就行。

知识图谱可以为深度学习提供知识,深度学习为知识图谱提供模型与工具构建。

知识图谱是基于语义网发展起来的。

语义网: 具有一定关系的网络

知识图谱实例:

http://kw.fudan.edu.cn

http://zhishi.me

  • 文本挖掘

TF-IDF加权法

一堆概念与术语:

​NLU 自然语言理解

NLP 自然语言处理

MT 机器翻译

HLT 人类语言技术,包括NLU,CL,MT

DL(deep learning) 深度学习

NN(Neural Networks)神经网络

RNN(Convolutional Neural Networks):卷积神经网络

CNN:循环神经网络

LSTM:长短期记忆网络

n-gram:输入一句话,输出这句话的概率

​Word Embedding(词嵌入),将单词映射到向量空间里,并用向量来表示。

Word2vec 词向量表示,将相似的单词分组映射到向量空间的不同部分,即能学到单词与单词之间的关系。

​Word2Vec有2种方法,skip-gram和CBOW。

skip-gram:输入一个词,然后试着估计其他词出现在该词附近的概率。

CBOW:连续词汇学习

上一篇:自然语言处理(NLP) - 数学基础(1) - 总述


下一篇:TurnipBit开发板DIY呼吸的吃豆人教程实例