模型训练相关参数问题

1、bert那么大,你的训练数据只有10w,会过拟合吗,epcho是不是只能设置为1?

看过epcho的曲线,当epcho小于10时,评测的效果会存在震荡的情况。epcho设置为20时,表现的比较稳定。

2、分词时,你这边做了什么处理么?

有一些领域特定的词,这边不需要把它分开,我们会把这些词加入jieba的初始词表中。

3、句子向量如何表示,你有调研过么?

doc2vec,emol,bert,albert等都可以用来表示句子向量

4、word2vec求均值表示句向量是一种常见的方式,你有想过什么其他的加权策略吗?为什么你们做的时候不加权?

可以通过idf,tfidf来加权。第一版预期的聚类簇可能就不会有那么好,所以没考虑加权的方式来处理。

上一篇:从NLP中的标记算法(tokenization)到bert中的WordPiece


下一篇:bert源码解读【学习笔记】