P0 · 必會
NLP
遮罩語言模型 (Masked Language Model, MLM)
是什麼
遮罩語言模型（MLM）是 BERT 的預訓練任務：隨機遮住輸入中約 15% 的 token，讓模型同時利用左右兩側的上下文預測被遮住的原詞，因此學到雙向的語境表示。
解決什麼問題
讓編碼器模型學到適合理解類任務（分類、抽取、命名實體辨識）的雙向語意表示，而非用來逐字生成文字。
考場 Trigger
- 隨機遮住部分詞再預測
- BERT 預訓練
- 左右雙向上下文
- [MASK] token
容易搞混
Encoder-Decoder 與 Decoder-onlyTransformer 與注意力N 元語言模型
中級深度
能比較 BERT 的 MLM 雙向理解與 GPT 的自迴歸逐字生成，並判斷各自適合的任務。