P1 · 應會
NLP
序列到序列模型 (Sequence-to-Sequence, Seq2Seq)
是什麼
序列到序列模型以編碼器(Encoder)讀入整個輸入序列並壓成表示,再由解碼器(Decoder)逐步生成輸出序列,輸入與輸出長度可以不同。早期以 RNN/LSTM 實作,後來多加上注意力或改用 Transformer。
解決什麼問題
處理輸入與輸出都是序列、且長度不對等的任務,例如機器翻譯、文本摘要、對話生成。
考場 Trigger
- 輸入與輸出都是長度不同的序列
- 機器翻譯或摘要生成
- 編碼器–解碼器架構
容易搞混
Encoder-Decoder 與 Decoder-onlyRNN 與 LSTM序列標註
中級深度
能分辨 Seq2Seq(輸出長度可變)與序列標註(每個輸入 token 對一個標籤)各自適用的任務。