硅谷硬核Rasa课程、Rasa培训、Rasa面试系列之:Rasa 3.x rasa run actions等运行命令学习

课程关键词:NLP、Transformer、BERT、GPT、Bayesian、Rasa、Transfer learning、Conversational AI、Classifiers、 Policies、Dialogue Management、NER、Pre-training、Fine-tuning、DIET、TED、SimpleTOD、Bert-DST、ConveRT、Poly-Encoder、Chatbot、E2E、NLU、Policies、Microservices、Graph Component、Fallback、LoopAction、Papers、Algorithms、Source Code、Projects

 

课程内容:

自从Google在2017发布Transformer论文以来,以Transformer为核心的新一代NLP技术在短短的2年左右的时间就彻底革新了整个NLP领域,尤其是2018年的BERT极大的加速了这一革新进程,无论是学术界还是工业界(Google、Amazon、Facebook、Alibaba、Tencent、ByteDance等)的近几年NLP工作均是围绕Transformer这个新一代的NLP架构系统而展开。人工智能领域具有全球广泛影响力的科学家Andrew Ng在2021年回顾AI的最新进展中甚至说 “Originally developed for natural language processing, transformers are becoming the Swiss Army Knife of deep learning.” 其明确表示就最新AI发展进展表明Transformer已经逐步实现了“One Architecture to Do Them All”的人工智能大一统趋势。详情请参考:https://read.deeplearning.ai/the-batch/issue-123/

基于此,星空智能对话机器人团队推出了以Transformer为核心的新一代NLP课程“NLP 高手之路101课(模型、算法、论文、源码、案例 + 1年答疑)”,力求通过该课程反映过去几年NLP在硅谷和全球的学术研究和工业落地的最新进展,帮助有志于新一代NLP技术的爱好者、研究者和实践者学习来自硅谷最新的NLP实用技术。具体来说,课程包含以下五大部分:

1, Transformer架构及源码剖析系列:Transformer、BERT、GPT的架构、算法、源码实现等近13小时内容讲解

2, 论文算法系列:从导师阅读的3000多篇NLP论文中选出10篇最高质量的NLP论文,抽丝剥茧的讲解其架构、算法并结合星空对话机器人研发经验分享最佳实践等近21小时内容的讲解

3, Rasa 3.X内核源码系列:对Rasa 3.X新一代的Graph Architecture下的架构、算法、Classifiers、Policies、Microservices、Dialogue Management进行详细的讲解,所有内容均有源码逐行剖析,该部分总共约45小时。

4, Rasa 3.X项目系列: 10大典型的Rasa项目案例,帮助学员掌握经典场景Rasa各类应用开发等近20小时讲解

5, NLP项目系列:五大企业级NLP硬核技术项目案例,所有的代码均是按照企业级的标准实现,稍加修改即可应用到学员以后企业NLP产品实现中。

尤其值得一提的是,Rasa是NLP技术的集大成者,是基于Transformer架构的全球使用最广泛的智能业务对话机器人,而掌握这一核心的技术的人才目前为止是极为稀少的。“NLP高手之路101课” 是全球第一个系统讲解Rasa 3.X架构、算法、源码、调试及项目实战的课程,掌握该课程的内容可以加速学习者成为NLP及Conversational AI技术的引领者。

 

整个“NLP高手之路101课”涵盖当今NLP应用和科研领域最热门的五大技术方向:预训练、语言理解、对话系统、知识图谱、文本生成等,在深入剖析技术细节及各模块所涵盖最前沿技术的同时,导师会结合自身研究开发星空智能对话机器人12万行核心源码的经验及学术应用前沿,对基于Transformer的新一代NLP的模型、算法、论文、源码、案例等进行全息分享,并提供1年的课程内容技术答疑服务。

 

 

课程大纲(基于直播持续更新)

 

第1课 Bayesian Transformer思想及数学原理完整论证

1,线性回归及神经网络AI技术底层通用的贝叶斯数学原理及其有效性证明

2,人工智能算法底层真相之MLE和MAP完整的数学推导过程概率、对数、求导等以及MLE和MAP关系详解

3,语言模型Language Model原理机制、数学推导及神经网络实现

4,图解Transformer精髓之架构设计、数据训练时候全生命周期、数据在推理中的全生命周期、矩阵运算、多头注意力机制可视化等

5,什么叫Bayesian Transformer,Bayesian Transformer和传统的Transformer的核心区别是什么?

6,Bayesian Transformer这种新型思考模型在学术和工业界的意义是什么,为什么说Transformer中到处都是Bayesian的实现?

7,贝叶斯Bayesian Transformer数学推导论证过程全生命周期详解及底层神经网络物理机制剖析

 

第2课Transformer论文源码完整实现

1,Transformer架构内部的等级化结构及其在NLP中的应用内幕

2,数学内幕、注意力机制代码实现、及Transformer可视化

3,以对话机器人的流式架构为例阐述Transformer学习的第三境界

4,以智能对话机器人为例阐述Transformer的自编码autoencoding和自回归autoregressive语言模型内幕机制

 

第3课:Transformer语言模型架构、数学原理及内幕机制

1,语言模型的链式法则、运行机制及为何说LM是一个Classifier?

2,基于概率统计Statistical Language Models语言模型内部机制、数学公式、及完整的示例

3,基于神经网络Neural Language Models语言模型内部机制、数学公式、及完整的示例

4,使用困惑度及Cross Entropy来衡量语言模型的质量具体实现及数学公式推导分

5,Language Model底层的数学原理之最大 似然估计MLE及最大后验概率MAP内部机制与关系详解

6,语言模型底层的数学原理之Bayesian模型原理与实现

 

第4课 GPT自回归语言模型架构、数学原理及内幕机制

1,语言模型的运行机制、架构内部及数学实现回顾

2,GPT可视化、Masking等工作机制解析

3,GPT中的Decoder-Only模式内部运行机制解析

4,数据在GPT模型中的流动生命周期Input Encoding、Self-Attention、及Model Output详解

5,GPT中的Masked多头注意力机制及全连接神经网络内部运行机制解析

 

第5课 BERT下的自编码语言模型架构、数学原理及内幕机制

1,双向Masking机制数学原理剖析

2,BERT语言模型架构内幕详解

3,BERT训练任务和调优

 

硅谷硬核Rasa课程 | Rasa培训 | Rasa面试

 全球设计Rasa课程行业应用最全面广泛、课程内容体系最多的机构

Rasa技术咨询:NLP_Matrix_Space

硅谷硬核Rasa课程、Rasa培训、Rasa面试系列之:Rasa 3.x rasa run actions等运行命令学习

 

上一篇:硅谷硬核Rasa课程、Rasa培训、Rasa面试系列之:Rasa 3.x部署安装初体验2


下一篇:对《OmniNet: Omnidirectional Representations from Transformers》方法的理解