第24章:基于SQuAD对Bi-DAF进行MRC源码完整实现、测试和调试

1,SQuAD训练集和验证集数据分析及answer的Index机制分析

2,从JSON文件中获取样本信息

3,Tokenization代码实现

4,遍历处理data中的paragraphs下context及qas

5,对data中answer的start index、text、end index的处理及word的处理

6,构建基于Batch的Iterator

7,Padding源码实现及测试

8,Character Embedding Layer对Char进行Vector编码实现和测试

9,Word Embedding Layer对word进行Vector编码实现及测试

10,dropout操作

11,Convolutions操作实现

12,Transformer数据流源代码剖析

13,Concatenate Context和Question完整源码实现

14,通过基于ReLU的highway network来整合信息完整源码实现及测试

15,highway network中的门控机制数学原理及其在AI中的广泛应用

16,通过LSTM对Contextual Embedding Layer进行编码完整实现及测试

17,Context Matrix和Question Matrix可视化分析

18,attention flow layer中相似矩阵S的源码实现

19,Context2Query完整源码实现及测试

20,Query2Context完整源码实现及测试

21,attention flow layer中信息前向和增强信息表示的G的融合源码实现

22,Modeling Layer完整源码实现调试分析

23,output layer中p1的计算实现

24,output layer中p2的计算实现

25,Cross Entropy Loss p1的细节说明

26,在验证集上进行Test源码完整实现

27,Mask机制的具体作用剖析及调试分析

28,对Answer进行Normalization操作

29,EM (Exact Match) 数学公式解析及源码实现

30,F1对MRC的应用数学公式解析及源码实现

31,Evaluation完整源码实现及调试

32,Soft Evaluation的重大意义思考

33,Bi-DAF全流程调试及深度分析

上一篇:【元数据】元数据存储系统管理演变升级


下一篇:Bootstrap系列 -- 30. 按钮工具栏