P1 · 應會
機器學習
位置編碼 (Positional Encoding)
是什麼
位置編碼是 Transformer 把每個詞的位置資訊（正弦餘弦函數或可學習向量）加進詞向量的機制，因為自注意力本身對輸入順序不敏感。
解決什麼問題
讓模型區分「狗咬人」與「人咬狗」這類用詞相同、順序不同的序列。
考場 Trigger
- 自注意力不分順序
- 把位置資訊加入詞向量
- 正弦與餘弦函數
容易搞混
Transformer 與注意力Embedding 與向量表示RNN 與 LSTM
中級深度
能說明 RNN 逐步處理天然帶順序、Transformer 平行處理需另加位置編碼，且是加在輸入嵌入上。