继续预训练BERT实战(pytorch版)

这里写自定义目录标题


根据相关领域,进一步预训练BERT可大大提高模型的性能。基于此,进行了BERT继续预训练实战。
1、 环境准备
Python=3.6
Torch=1.7.1
Cuda=11
Transformers=3.0.2(不能太新,太新会爆很多问题)
2、 预训练模型准备
2.1、下载预训练模型:chinese-roberta-
上一篇:课程向:深度学习与人类语言处理 ——李宏毅,2020 (P18)


下一篇:使用BERT进行跨领域情感分析