课程关键词:NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transfer learning、Conversational AI、Classifiers、 Policies、Dialogue Management、NER、Pre-training、Fine-tuning、DIET、TED、SimpleTOD、Bert-DST、ConveRT、Poly-Encoder、Chatbot、E2E、NLU、Policies、Microservices、Graph Component、Fallback、LoopAction、Papers、Algorithms、Source Code、Projects
课程内容:
自从Google在2017发布Transformer论文以来,以Transformer为核心的新一代NLP技术在短短的2年左右的时间就彻底革新了整个NLP领域,尤其是2018年的BERT极大的加速了这一革新进程,无论是学术界还是工业界(Google、Amazon、Facebook、Alibaba、Tencent、ByteDance等)的近几年NLP工作均是围绕Transformer这个新一代的NLP架构系统而展开。人工智能领域具有全球广泛影响力的科学家Andrew Ng在2021年回顾AI的最新进展中甚至说 “Originally developed for natural language processing, transformers are becoming the Swiss Army Knife of deep learning.” 其明确表示就最新AI发展进展表明Transformer已经逐步实现了“One Architecture to Do Them All”的人工智能大一统趋势。详情请参考:https://read.deeplearning.ai/the-batch/issue-123/
基于此,星空智能对话机器人团队推出了以Transformer为核心的新一代NLP课程“NLP 高手之路101课(模型、算法、论文、源码、案例 + 1年答疑)”,力求通过该课程反映过去几年NLP在硅谷和全球的学术研究和工业落地的最新进展,帮助有志于新一代NLP技术的爱好者、研究者和实践者学习来自硅谷最新的NLP实用技术。具体来说,课程包含以下五大部分:
1, Transformer架构及源码剖析系列:Transformer、BERT、GPT的架构、算法、源码实现等近13小时内容讲解
2, 论文算法系列:从导师阅读的3000多篇NLP论文中选出10篇最高质量的NLP论文,抽丝剥茧的讲解其架构、算法并结合星空对话机器人研发经验分享最佳实践等近21小时内容的讲解
3, Rasa 3.X内核源码系列:对Rasa 3.X新一代的Graph Architecture下的架构、算法、Classifiers、Policies、Microservices、Dialogue Management进行详细的讲解,所有内容均有源码逐行剖析,该部分总共约45小时。
4, Rasa 3.X项目系列: 10大典型的Rasa项目案例,帮助学员掌握经典场景Rasa各类应用开发等近20小时讲解
5, NLP项目系列:五大企业级NLP硬核技术项目案例,所有的代码均是按照企业级的标准实现,稍加修改即可应用到学员以后企业NLP产品实现中。
尤其值得一提的是,Rasa是NLP技术的集大成者,是基于Transformer架构的全球使用最广泛的智能业务对话机器人,而掌握这一核心的技术的人才目前为止是极为稀少的。“NLP高手之路101课” 是全球第一个系统讲解Rasa 3.X架构、算法、源码、调试及项目实战的课程,掌握该课程的内容可以加速学习者成为NLP及Conversational AI技术的引领者。
整个“NLP高手之路101课”涵盖当今NLP应用和科研领域最热门的五大技术方向:预训练、语言理解、对话系统、知识图谱、文本生成等,在深入剖析技术细节及各模块所涵盖最前沿技术的同时,导师会结合自身研究开发星空智能对话机器人12万行核心源码的经验及学术应用前沿,对基于Transformer的新一代NLP的模型、算法、论文、源码、案例等进行全息分享,并提供1年的课程内容技术答疑服务。
资料及答疑:
购买后联系授课导师Gavin获得代码、资料及完整的课程视频(包含额外的根据学员学习反馈而补充的视频及助教录制的视频)。
课程提供1年的技术答疑服务,Gavin老师负责所有课程技术问题的答疑服务。
课程大纲(基于直播持续更新):
第1课 Bayesian Transformer思想及数学原理完整论证
1,线性回归及神经网络AI技术底层通用的贝叶斯数学原理及其有效性证明
2,人工智能算法底层真相之MLE和MAP完整的数学推导过程概率、对数、求导等以及MLE和MAP关系详解
3,语言模型Language Model原理机制、数学推导及神经网络实现
4,图解Transformer精髓之架构设计、数据训练时候全生命周期、数据在推理中的全生命周期、矩阵运算、多头注意力机制可视化等
5,什么叫Bayesian Transformer,Bayesian Transformer和传统的Transformer的核心区别是什么?
6,Bayesian Transformer这种新型思考模型在学术和工业界的意义是什么,为什么说Transformer中到处都是Bayesian的实现?
7,贝叶斯Bayesian Transformer数学推导论证过程全生命周期详解及底层神经网络物理机制剖析
第2课Transformer论文源码完整实现
1,Transformer架构内部的等级化结构及其在NLP中的应用内幕
2,数学内幕、注意力机制代码实现、及Transformer可视化
3,以对话机器人的流式架构为例阐述Transformer学习的第三境界
4,以智能对话机器人为例阐述Transformer的自编码autoencoding和自回归autoregressive语言模型内幕机制
第3课:Transformer语言模型架构、数学原理及内幕机制
1,语言模型的链式法则、运行机制及为何说LM是一个Classifier?
2,基于概率统计Statistical Language Models语言模型内部机制、数学公式、及完整的示例
3,基于神经网络Neural Language Models语言模型内部机制、数学公式、及完整的示例
4,使用困惑度及Cross Entropy来衡量语言模型的质量具体实现及数学公式推导分
5,Language Model底层的数学原理之最大 似然估计MLE及最大后验概率MAP内部机制与关系详解
6,语言模型底层的数学原理之Bayesian模型原理与实现
第4课 GPT自回归语言模型架构、数学原理及内幕机制
1,语言模型的运行机制、架构内部及数学实现回顾
2,GPT可视化、Masking等工作机制解析
3,GPT中的Decoder-Only模式内部运行机制解析
4,数据在GPT模型中的流动生命周期Input Encoding、Self-Attention、及Model Output详解
5,GPT中的Masked多头注意力机制及全连接神经网络内部运行机制解析
第5课 BERT下的自编码语言模型架构、数学原理及内幕机制
1,双向Masking机制数学原理剖析
2,BERT语言模型架构内幕详解
3,BERT训练任务和调优
第6课 BERT Pre-taining模型源码完整实现
1,BERT神经网络的完整源码实现
2,预训练任务MLM完整源码实现
3,预训练任务NSP完整源码实现
第7课 使用BERT 进行Document分类任务案例实战
1,BERT Fine-tuning 数字原理剖析
2,模型及数据处理代码
3,BERT Fine-tuning训练完整代码
第8课 使用BERT进行NER案例实战
1,BERT Fine-tuning 进行NER原理解析
2,Tokenization及Input端代码
3,BERT Fine-tuning训练及优化
第9课 使用BERT进行多任务Fine-Tuning解密
1,Fine-Tuning最佳策略
2,Pre-Training深度优化
3,Multi-Task微调解密及案例
第10课 使用BERT对影评数据分析(数据处理、模型代码、线上部署)
1,Sogou New数据处理
2,模型Input源码
3,模型训练及优化
硅谷硬核Rasa课程 | Rasa培训 | Rasa面试
全球设计Rasa课程行业应用最全面广泛、课程内容体系最多的机构
Rasa技术咨询:NLP_Matrix_Space