预训练过程
在encoder最后一层，取出来被打mask的词的向量，加入线性层在变化为embending的输出，取得softmax进行celoss。
roberta的byte的编码方式
https://zhuanlan.zhihu.com/p/121787628
相关文章
- 12-28在线部分：werobot服务、主要逻辑服务、句子相关模型服务、BERT中文预训练模型+微调模型（目的：比较两句话text1和text2之间是否有关联）、模型在Flask部署
- 12-28bert-as-service使用
- 12-28读BERT论文记录
- 12-28DistilBERT, a distilled version of BERT: smaller, faster, cheaper and lighter学习
- 12-28Bert/Albert-CRF模型代码初试
- 12-28莫烦nlp-BERT双向语言模型
- 12-28站在BERT肩膀上的NLP新秀们（PART I）
- 12-28Bert 改进： 如何融入知识
- 12-28自然语言处理笔记02 -- Bert模型解读和实战
- 12-28我不太懂BERT系列——BERT预训练实操总结