自然语言处理NLP星空智能对话机器人系列：NLP on Transformers 101 第二章

NLP on Transformers 101
(基于Transformer的NLP智能对话机器人实战课程)

One Architecture， One Course，One Universe

本课程以Transformer架构为基石、萃取NLP中最具有使用价值的内容、围绕手动实现工业级智能业务对话机器人所需要的全生命周期知识点展开，学习完成后不仅能够从算法、源码、实战等方面融汇贯通NLP领域NLU、NLI、NLG等所有核心环节，同时会具备独自开发业界领先智能业务对话机器人的知识体系、工具方法、及参考源码，成为具备NLP硬实力的业界Top 1%人才。

课程特色：
 101章围绕Transformer而诞生的NLP实用课程
 5137个围绕Transformers的NLP细分知识点
 大小近1200个代码案例落地所有课程内容
 10000+行纯手工实现工业级智能业务对话机器人
 在具体架构场景和项目案例中习得AI相关数学知识
 NLP大赛全生命周期讲解并包含比赛的完整代码实现

在Gavin看来，正常的AI技术人员很难破解Transformer的的玄妙主要是因为其无法体悟贝叶斯公式中P(B)的内涵，从而失去了领悟获得Transfomer真正力量的机会。

第2章: 通过30+个细分模块完整实现Transformer论文源码及项目调试
1，Transformer源码训练及预测整体效果展示
2，模型训练model_training.py代码完整实现
3，数据预处理data_preprocess.py代码完整实现
4，Input端Embeddings源码完整实现
5，Attention机制attention.py代码完整实现
6，Multi-head Attention机制multi_head_attention.py代码完整实现
7，Position-wise Feed-forward源码完整实现
8，Masking 在Encoder和Decoder端的源码完整实现0
9，SublayerConnection源码完整实现
10，Encoder Layer源码完整实现
11，LayerNormalization源码完整实现
12，DecoderLayer源码完整实现
13，Encoder Stack源码完整实现
14，Decoder Stack源码完整实现
15，由Memory链接起来的EncoderDecoder Module源码完整实现
16，Batch操作完整源码实现
16，Optimization源码完整实现
17，Loss计算数学原理及完整源码实现
18，Output端Generator源码完整实现
19，Transformer模型初始化源码及内幕揭秘
20， Label Smoothing源码完整实现
21，Training源码完整实现
22，Greedy Decoding源码及内幕解析
23，Tokenizer源码及调试
24，Multi-GPU训练完整源码
27，使用自己实现的Transformer完成分类任务及调试
28，Transformer翻译任务代码完整实现及调试
29，BPE解析及源码实现
30，Shared Embeddings解析及源码实现
31，Beam Search解析及源码实现
32，可视化Attention源码实现及剖析

星空智能对话机器人系列博客

• NLP星空智能对话机器人系列：第二次星空智能对话机器人Zoom线上演示安排

• NLP星空智能对话机器人系列：StarSpace: Embed All The Things

• NLP星空智能对话机器人系列：Facebook StarSpace框架初体验

• NLP星空智能对话机器人系列：Facebook StarSpace框架案例数据加载

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 多头注意力架构-通过Python实例计算Q, K, V

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 多头注意力架构 Q K V注意力评分

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 多头注意力架构 Concatenation of the output of the heads

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码（positional_encoding）

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 位置编码案例应用

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 基于BERT模型微调实现句子分类

• NLP星空智能对话机器人系列：第4、5、6、7次星空智能对话机器人Zoom线上演示安排

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT ByteLevelBPETokenizer

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Initializing model

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Exploring the parameters

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Initializing the trainer

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 KantaiBERT Language modeling with FillMaskPipeline

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 GLUE CoLA

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 GLUE SST-2

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 GLUE MRPC

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 GLUE Winograd schemas and NER

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Workshop on Machine Translation (WMT)

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 WMT数据处理

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 BLEU smoothing

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Translations with Trax

• NLP星空智能对话机器人系列：第五次星空智能对话机器人线上演示

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 BertViz

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The Reformer

• NLP星空智能对话机器人系列：重磅信息：10月份一共会安排6次星空对话的机器人线上演示交流

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Pattern-Exploiting Training (PET)

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 The philosophy of Pattern-Exploiting Training (PET)

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 It‘s time to make a decision

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2 step3-5

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2 step 6-8

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Text completion with GPT-2 step 9

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model

• NLP星空智能对话机器人系列：论文学习 Do Transformers Really Perform Bad for Graph Representation

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 2 to 6

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 7 to 9

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Training a GPT-2 language model Steps 10

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 T5-large transformer model

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Architecture of the T5 model

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Summarizing documents with T5-large

• NLP星空智能对话机器人系列：业界动态信息分享 自然语言处理中的小样本学习

• NLP星空智能对话机器人系列：业界动态信息分享 Transformer 的性能瓶颈分析与优化

• 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Matching datasets and tokenizers

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Noisy relationships

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Standard NLP tasks with specific vocabulary

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 T5 Bill of Rights Sample

• NLP星空智能对话机器人系列：论文解读 How Good is Your Tokenizer? (你的词元分析器有多好？多语言模型的单语性能研究)

• NLP星空智能对话机器人系列： Faiss Tutorial

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 Semantic Role Labeling (SRL).

• NLP星空智能对话机器人系列：Gavin大咖 Transformer 101问答集 第一问

• NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL Sample 1

• 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL(Semantic Role Labeling) Sample 2

• 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL(Semantic Role Labeling)

• 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL

• 自然语言处理NLP星空智能对话机器人系列：深入理解Transformer自然语言处理 SRL

• NLP星空智能对话机器人系列：NLP on Transformers 101第一章