李宏毅unsupervised learning-Word Embedding 课堂笔记

2024-03-07 09:30:08

李宏毅unsupervised learning-Word Embedding 课堂笔记有多少个词汇就有多少维向量，只有表示它那维是1其他都是0。这样不知道词汇之间的关系，所以可以采用class。但是这样太粗糙了，引入word embedding。

word embedding简介：

李宏毅unsupervised learning-Word Embedding 课堂笔记李宏毅unsupervised learning-Word Embedding 课堂笔记

 

 

根据词汇的上下文找出它的vector李宏毅unsupervised learning-Word Embedding 课堂笔记

 

 李宏毅unsupervised learning-Word Embedding 课堂笔记count based：两个词经常一起出现，给他们一个相似的向量

 

  prediction based：

 李宏毅unsupervised learning-Word Embedding 课堂笔记这种推词可以用在language modeling

 

李宏毅unsupervised learning-Word Embedding 课堂笔记    李宏毅unsupervised learning-Word Embedding 课堂笔记先把1-of-N encoding通过第一层网络，乘以一个matrix降维

李宏毅unsupervised learning-Word Embedding 课堂笔记    李宏毅unsupervised learning-Word Embedding 课堂笔记

 

 

 

 

  

李宏毅unsupervised learning-Word Embedding 课堂笔记

 

 

 

 

 

 

李宏毅unsupervised learning-Word Embedding 课堂笔记

 

  

   

 

上一篇：Graph-GraphSage


下一篇：推荐场景中——DIN排序模型讲解和应用