关于word2vec负采样的简单理解

每次训练时,将需要预测的目标词分成两类。一类是目标词,一类是非目标词。

此时多分类的softmax函数变成了二分类的sigmoid函数,这样前向传播的时候不需要计算softmax的开销,而且反向传播由更新所有词的参数变成了更新目标词的参数。

 

上一篇:HarmonyOS之分布式软总线


下一篇:深度学习-Softmax回归