继续预训练BERT实战(pytorch版)2024-03-22 11:08:58 这里写自定义目录标题 如何插入一段漂亮的代码片 生成一个适合你的列表 创建一个表格 设定内容居中、居左、居右 SmartyPants 创建一个自定义列表 如何创建一个注脚 注释也是必不可少的 KaTeX数学公式 新的甘特图功能,丰富你的文章 UML 图表 FLowchart流程图 导出与导入 导出 导入 根据相关领域,进一步预训练BERT可大大提高模型的性能。基于此,进行了BERT继续预训练实战。 1、 环境准备 Python=3.6 Torch=1.7.1 Cuda=11 Transformers=3.0.2(不能太新,太新会爆很多问题) 2、 预训练模型准备 2.1、下载预训练模型:chinese-roberta- 上一篇:课程向:深度学习与人类语言处理 ——李宏毅,2020 (P18)下一篇:使用BERT进行跨领域情感分析