P0 · 必會
NLP
詞向量訓練方法 (Word2Vec and GloVe)
是什麼
Word2Vec 與 GloVe 都把詞表示成低維稠密的靜態詞向量，語意相近的詞在向量空間中靠近。Word2Vec 以局部上下文預測任務學習（CBOW、Skip-gram），GloVe 以全域詞共現統計矩陣學習。
解決什麼問題
取代 One-Hot 高維稀疏、無法表達語意相似度的表示，作為文本分類、相似度計算等下游任務的詞特徵。
考場 Trigger
- 取代 One-Hot 的高維稀疏表示
- CBOW 與 Skip-gram 的差異
- 局部上下文與全域共現統計
容易搞混
Embedding 與向量表示詞頻–逆文件頻率遮罩語言模型
中級深度
能說出 Skip-gram 對罕見詞較好、CBOW 較快，並區分 Word2Vec 用局部視窗、GloVe 用全域共現。