Pytorch tokenizer使用及补充vocab词汇表

我们现在需要对一句话做分词,然后转换成index,作为Bert的输入

tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME)

text = '天空下着暴雨,o2正在给c1穿雨衣,他自己却只穿着单薄的军装,完全暴露在大雨之中。角色: o2'

input_ids =tokenizer.encode(text)
output = tokenizer.decode(input_ids)

输出的output长这样,长度45:

'[CLS] 天 空 下 着 暴 雨 , o2 正 在 给 c1 穿 雨 衣 , 他 自 己 却 只 穿 着 单 薄 的 军 装 , 完 全 暴 露 在 大 雨 之 中 。 角 色 : o2 [SEP]'

但是input_ids的长度是47,??难道不是一一对应

确实不是,一一与词汇表对比,发现 'o2' 对应了两个 id,'o'对应一个, '##2'对应一个(在bert的词汇表里'##x'通常表示以'x'为后缀)

神奇的是 'c1' 词汇表中是有的

 

也就是说,为了让token和id一一对应起来,我们需要将不存在的token添加到vocab中,网上查到两种方法:

1. 利用前100里的[unused]

https://github.com/google-research/bert/issues/396

将[unused]换成自己想要添加的

具体有多少个[unused]要看自己的预训练模型,可能100个,可能1000个,但都有限

2. 利用transformers库里有个 add_tokens 方法

https://github.com/huggingface/transformers/issues/1413

import torch
from transformers import BertTokenizer, BertModel

tokenizer = BertTokenizer.from_pretrained("bert-base-cased")
model = BertModel.from_pretrained("bert-base-cased")

print(len(tokenizer))  # 28996
tokenizer.add_tokens(["NEW_TOKEN"])
print(len(tokenizer))  # 28997

model.resize_token_embeddings(len(tokenizer)) 
# The new vector is added at the end of the embedding matrix

print(model.embeddings.word_embeddings.weight[-1, :])
# Randomly generated matrix

model.embeddings.word_embeddings.weight[-1, :] = torch.zeros([model.config.hidden_size])

print(model.embeddings.word_embeddings.weight[-1, :])
# outputs a vector of zeros of shape [768]

感觉两种都行,待测 

------------恢复内容开始------------

我们现在需要对一句话做分词,然后转换成index,作为Bert的输入

tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME)

text = '天空下着暴雨,o2正在给c1穿雨衣,他自己却只穿着单薄的军装,完全暴露在大雨之中。角色: o2'

input_ids =tokenizer.encode(text)
output = tokenizer.decode(input_ids)

输出的output长这样,长度45:

'[CLS] 天 空 下 着 暴 雨 , o2 正 在 给 c1 穿 雨 衣 , 他 自 己 却 只 穿 着 单 薄 的 军 装 , 完 全 暴 露 在 大 雨 之 中 。 角 色 : o2 [SEP]'

但是input_ids的长度是47,??难道不是一一对应

确实不是,一一与词汇表对比,发现 'o2' 对应了两个 id,'o'对应一个, '##2'对应一个(在bert的词汇表里'##x'通常表示以'x'为后缀)

神奇的是 'c1' 词汇表中是有的

 

也就是说,为了让token和id一一对应起来,我们需要将不存在的token添加到vocab中,网上查到两种方法:

1. 利用前100里的[unused]

https://github.com/google-research/bert/issues/396

将[unused]换成自己想要添加的

具体有多少个[unused]要看自己的预训练模型,可能100个,可能1000个,但都有限

2. 利用transformers库里有个 add_tokens 方法

https://github.com/huggingface/transformers/issues/1413

https://blog.csdn.net/qq_23944915/article/details/102781463

import torch
from transformers import BertTokenizer, BertModel
import ipdb
import config   


tokenizer = BertTokenizer.from_pretrained(config.PRE_TRAINED_MODEL_NAME)
model = BertModel.from_pretrained(config.PRE_TRAINED_MODEL_NAME)

x = model.embeddings.word_embeddings.weight[-1, :]

print(len(tokenizer))  # 28996
tokenizer.add_tokens(["NEW_TOKEN"])
print(len(tokenizer))  # 28997

model.resize_token_embeddings(len(tokenizer)) 
# The new vector is added at the end of the embedding matrix

print(model.embeddings.word_embeddings.weight[-1, :])
# Randomly generated matrix

with torch.no_grad():
    model.embeddings.word_embeddings.weight[-1, :] = torch.zeros([model.config.hidden_size])

print(model.embeddings.word_embeddings.weight[-1, :])
# outputs a vector of zeros of shape [768]

y = model.embeddings.word_embeddings.weight[-2, :]

print(x == y) # 会改变原来embedding weight 吗? 不会
ipdb.set_trace()

这种方法,因为是添加token,需要修改embedding matrix

不知道它这个resize matrix会不会打扰预训练的embeddings? 经测,不会

 

感觉两种都行,待测 

也有可能都没必要,Bert可能能够学会新的组合词汇

上一篇:【AdvancedLocomotionSystemV】第七篇 C++ 实现角色蹲伏和跑步细节


下一篇:动态规划:完全背包问题