工具 / 新技術
Encoder-Decoder 與 Decoder-only
是什麼
Encoder-Decoder 分開處理輸入理解與輸出生成;Decoder-only 以單一自回歸架構同時利用上下文並逐步生成。
解決什麼問題
這題考如何把題幹線索與Encoder-Decoder 與 Decoder-only的定義、功能或適用情境正確配對。
考場 Trigger
- 輸入轉輸出的雙階段 → Encoder-Decoder
- 單一模型續寫生成 → Decoder-only
容易搞混
初級深度
掌握主要用途、考試線索與必要邊界即可。
中級深度
要能說明 BERT 以遮罩語言模型(MLM)用雙向上下文預測被遮詞、不能自迴歸生成,並知道 Seq2Seq 適合輸入輸出長度不同的翻譯與摘要。