每次训练时,将需要预测的目标词分成两类。一类是目标词,一类是非目标词。
此时多分类的softmax函数变成了二分类的sigmoid函数,这样前向传播的时候不需要计算softmax的开销,而且反向传播由更新所有词的参数变成了更新目标词的参数。
2024-02-11 10:54:34
每次训练时,将需要预测的目标词分成两类。一类是目标词,一类是非目标词。
此时多分类的softmax函数变成了二分类的sigmoid函数,这样前向传播的时候不需要计算softmax的开销,而且反向传播由更新所有词的参数变成了更新目标词的参数。
下一篇:深度学习-Softmax回归