文章目录

• 主要内容
• 一、Glove模型
• 二、Intrinsic and Extrinsic Evaluation
• • 1. Intrinsic Evaluation
  • 2. Extrinsic Evaluation

---

主要内容

Glove模型；intrinsic and extrinsic evaluation
参考资料：讲义

---

一、Glove模型

1. 构建co-occurrence matrix:
   
2. 使用least squares objective更新
   
   
   优化后的公式：
   

二、Intrinsic and Extrinsic Evaluation

1. Intrinsic Evaluation

用特定的子任务进行快速评估，并返回一个分数对word vector性能进行打分。
常见的子任务：

1. word vector analogies (用词语类比结果进行评估):
   
2. correlation evaluation(比较两个词的相似度，用人类识别结果进行评估)

2. Extrinsic Evaluation

用 real task 进行评估

Tricks:

1. retraining word vectors
   训练数据集较小时不应当重新训练；数据集较大时可以一试
2. softmax classification and regularization
3. window classification
4. non-linear classifier(neuro network)