1,SQuAD训练集和验证集数据分析及answer的Index机制分析
2,从JSON文件中获取样本信息
3,Tokenization代码实现
4,遍历处理data中的paragraphs下context及qas
5,对data中answer的start index、text、end index的处理及word的处理
6,构建基于Batch的Iterator
7,Padding源码实现及测试
8,Character Embedding Layer对Char进行Vector编码实现和测试
9,Word Embedding Layer对word进行Vector编码实现及测试
10,dropout操作
11,Convolutions操作实现
12,Transformer数据流源代码剖析
13,Concatenate Context和Question完整源码实现
14,通过基于ReLU的highway network来整合信息完整源码实现及测试
15,highway network中的门控机制数学原理及其在AI中的广泛应用
16,通过LSTM对Contextual Embedding Layer进行编码完整实现及测试
17,Context Matrix和Question Matrix可视化分析
18,attention flow layer中相似矩阵S的源码实现
19,Context2Query完整源码实现及测试
20,Query2Context完整源码实现及测试
21,attention flow layer中信息前向和增强信息表示的G的融合源码实现
22,Modeling Layer完整源码实现调试分析
23,output layer中p1的计算实现
24,output layer中p2的计算实现
25,Cross Entropy Loss p1的细节说明
26,在验证集上进行Test源码完整实现
27,Mask机制的具体作用剖析及调试分析
28,对Answer进行Normalization操作
29,EM (Exact Match) 数学公式解析及源码实现
30,F1对MRC的应用数学公式解析及源码实现
31,Evaluation完整源码实现及调试
32,Soft Evaluation的重大意义思考
33,Bi-DAF全流程调试及深度分析