P1 · 應會
NLP
N 元語言模型 (N-gram Language Model)
是什麼
N 元語言模型依馬可夫假設，只用前 N−1 個詞估計下一個詞的機率，機率由語料中詞序列出現的次數計算。
解決什麼問題
早期用於輸入法、語音辨識與拼字建議等短距離預測，也是理解 RNN 與 Transformer 為何需要長上下文的基準。
考場 Trigger
- 只看前 N−1 個詞
- 局部通順但整段語意不連貫
- 馬可夫假設
容易搞混
RNN 與 LSTMTransformer 與注意力詞頻–逆文件頻率
中級深度
能說明視窗外資訊被忽略而無法處理長距離依賴，且 N 加大會讓詞組合暴增、資料稀疏。