介绍
cbow:上下文词向量求和,预测中心词
skip-gram:中心词预测上下文
优化
1、哈夫曼树
把常规的 softmax 优化为 哈夫曼softmax,优化的是每个样本在哈夫曼树上的路径概率
与样本无关。
2、负采样
对每一个正样本,按照词频构建负样本,构建二分类任务,梯度下降求解。
可以用常规的 softmax 函数
2023-11-27 07:53:33
cbow:上下文词向量求和,预测中心词
skip-gram:中心词预测上下文
1、哈夫曼树
把常规的 softmax 优化为 哈夫曼softmax,优化的是每个样本在哈夫曼树上的路径概率
与样本无关。
2、负采样
对每一个正样本,按照词频构建负样本,构建二分类任务,梯度下降求解。
可以用常规的 softmax 函数
下一篇:Docker