[CS224N] Note2

[CS224N] Note2

Word2vec

\(P(w_{t+j}|w_t;\theta)\)其中\(\theta\)是词向量参数,是一个客观存在的东西

对于Likelihood,已知概率分布求参数即词向量。

那么问题就变成\(\max_\theta Likelihood \Rightarrow \min_\theta Objective\)

对于Likelihood中的概率连乘,概率使用\(P(o|c)\)即给定中心词的条件下的周边词概率。 根据参数估计理论,我们需要使用参数表达出概率分布,因此给词向量一个定义:即越相似的词向量空间越接近,此时\(U\cdot V_c^\mathrm{T}\)得到一个\(n\times 1\)的矩阵,再通过softmax操作将其概率化。

Skip-Gram on Naïve Softmax

Example Sentence: I love NLP today.

\(J(\theta)=-\frac{1}{T}\sum^T_{t=1}\sum_{-m\le j\le m}\log P(w_{t+j}|w_t;\theta)\)

此时,T=4,设m=2

当t=2,\(w_t\)=love时,则子项为\(\log P(I|love)\) and \(\log P(NLP|love)\)

此时,\(\log P(I|love)=\frac{\exp(u_I^Tv_{love})}{\sum_{w\in V}\exp (u_w^T v_{love})}\)

Skip-Gram on co-occurence

构造共现矩阵,这样会产生很大很稀疏的矩阵。 因此,要做一些操作:奇异值分解

还有一种小trick使用阈值处理高频词(he the it...)

上一篇:学习小汇总 部分标签,字符和超链接


下一篇:Lambda表达式