- 前言
先来看一些demo,来一些直观的了解。
自然语言处理:
可以做中文分词,词性分析,文本摘要等,为后面的知识图谱做准备。
http://xiaosi.trs.cn/demo/rs/demo
知识图谱:
https://www.sogou.com/tupu/person.html?q=刘德华
还有2个实际应用的例子,加深对NLP的理解
九歌机器人:
微软对联机器人:
- NLP概述:
自然语言处理,是研究如何利用计算机技术对语言文本(句子,篇章或话语等)进行处理和加工的一门技术。
NLP的关键思想之一是将单词转换为数字向量,然后把这些数字向量放到机器学习模型中进行预测。
深度学习是NLP的关键技术之一。
自然语言处理是构建知识图谱的基础技术。
学科面临的主要挑战:
大量出现的新词语:例:佛系
无处不在的歧义:例:喜欢城市的年轻人
隐喻表达:例:在朋友圈潜水
不同语言的概念不同:翻译之间的理解
对应的核心挑战:
->语义分析
->语用场景的分析
- NLP应用举例:
一: 汉语分词
1. 最大匹配法(基于规则或模板的方法)
2. 基于n-gram的分词法(传统的统计方法,生成式)
3. 基于神经网络的分词方法(目前最主流的分词方法)
二: 机器翻译:
1. 基于模板/规则的方法
2. 基于语料库的方法
3. 基于神经机器翻译方法
三: 同声翻译:
技术应用现状:
1,各种 输入法;
2,语音
- 常见的NLP方法:
1.基于规则的方法
2.基于统计学习方法
---------------------------------------
基于统计方法的基本方法/框架:
框架:学习系统->模型->预测系统
原理:训练数据(样本),带标签,预测下一个输入后的输出
如买保险,买与不买是标签,已有买保险数据为样本。我们重点是做好训练模型
常用的统计模型:
模型主要是6,7种,侧重点不同,根据需要选择不同的模型使用即可。
1.统计模型
1) 语言模型(LM)--比较复杂
2) 隐马尔可夫模型(HMM)-----多分类问题(大于2的)
3)K-近邻(KNN)----数据量比较少可选用
4) 朴素贝叶斯法(NB)
5)决策树(DT)
6)最大熵(maximum entropy)
-------二类分类--------
7)支持向量机(SVN)
8)感知机
------序列标注-------
9)条件随机场(CRFConditional random fields)
基于统计学的一个算法,Viterbi算法:每次只保留最佳的算法
已有开源工具一大堆,这里不一一列出。
基于学习的基本方法:
人工神经网络最火的是深度学习
深度学习在2009年才取得重大突破,把识别率提高了百分之十几个点。
神经语言模型:
条件概率模型,统计之前出现次数的概率,预测概率最大化
计算机是没法理解人类语言的(意图),只能把出现概率最大的取出来,那么就需要大量的样本训练他。
神经网络分2种:
浅层学习:LR,SVM,Bayes,boosting
深度学习: CNN,RNN,DBM,AutoEncoder
CNN:卷积 RNN则不会过多约束
2个核心,1是卷积: 实际是一个加权运算;2是最大池化。
RNN:循环 CNN对于输入数据的维度约束是比较严重的,训练是啥,预测就是啥
LSTM(长短记忆神经网络,RNN的一种)核心过程:
3个门,每个门对应一个函数 。每个门的结果要么是0要么是1
遗忘门: 选择哪些遗忘
输入门: 决定输入什么
输出门:决定输出什么
---------------------------------------------------------
笔记:
1. N多的数学公式,要想深入学习,还得学好数学
2. 模型普通人就不要研究了
- 知识图谱
知识图谱与深度学习相当于两条路在走,未来会深度学习。
深度学习可以用来预测,知识图谱不能,知识图谱类似将所有知识穷举起来,搜索你要的知识就行。
知识图谱可以为深度学习提供知识,深度学习为知识图谱提供模型与工具构建。
知识图谱是基于语义网发展起来的。
语义网: 具有一定关系的网络
知识图谱实例:
- 文本挖掘
TF-IDF加权法
一堆概念与术语:
NLU 自然语言理解
NLP 自然语言处理
MT 机器翻译
HLT 人类语言技术,包括NLU,CL,MT
DL(deep learning) 深度学习
NN(Neural Networks)神经网络
RNN(Convolutional Neural Networks):卷积神经网络
CNN:循环神经网络
LSTM:长短期记忆网络
n-gram:输入一句话,输出这句话的概率
Word Embedding(词嵌入),将单词映射到向量空间里,并用向量来表示。
Word2vec 词向量表示,将相似的单词分组映射到向量空间的不同部分,即能学到单词与单词之间的关系。
Word2Vec有2种方法,skip-gram和CBOW。
skip-gram:输入一个词,然后试着估计其他词出现在该词附近的概率。
CBOW:连续词汇学习