使用transformer训练语言模型

准备环境

安装依赖包

!which python 
! pip install datasets transformers rouge-score nltk
# 加载数据
from datasets import load_dataset, load_metric

# raw_datasets = load_dataset("xsum")
metric = load_metric("rouge")
!pip install matplotlib
!pip install torch
!pip install torchtext

spacy是否支持中文?

支持。https://spacy.io/models
https://spacy.io/models/zh#zh_core_web_sm

下载之后,在当前python虚拟环境,pip install /Users/xuehuiping/Downloads/zh_core_web_sm-3.1.0.tar.gz

!pip install zh_core_web_sm-3.1.0.tar.gz
import spacy

nlp = spacy.load("zh_core_web_sm")
doc = nlp("庆祝祖国生日快乐")
print(doc.text)
for token in doc:
    print(token.text, token.pos_, token.dep_)
庆祝祖国生日快乐
庆祝 VERB ROOT
祖国 NOUN compound:nn
生日 NOUN dobj
快乐 VERB ccomp

语言模型

https://pytorch.org/tutorials/beginner/transformer_tutorial.html

下载ipynb,运行
官方文档给了3次epoch
使用transformer训练语言模型

测试结果
使用transformer训练语言模型

保存模型
torch.save(best_model, 'best_model.pt')

加载模型
model = TransformerModel(ntokens, emsize, nhead, d_hid, nlayers, dropout).to(device)
torch.load('best_model.pt', map_location=torch.device('cpu'))

上一篇:良心整理15个超级Python库,不要错过


下一篇:python -m spacy download en ConnectionError