← 返回知識庫刷題首頁
P0 · 必會

機器學習初級中級

Transformer 與注意力

是什麼

Transformer 以注意力機制建模序列中不同位置的關係;Flash Attention 主要改善注意力計算的記憶體存取與效率。

解決什麼問題

這題考如何把題幹線索與Transformer 與注意力的定義、功能或適用情境正確配對。

考場 Trigger

  • 長距離關係 → Attention
  • 改善注意力速度與記憶體 → Flash Attention

初級深度

理解用途、典型情境與相近概念邊界即可,不需投入工程或研究層級細節。

中級深度

要能說明自注意力讓任兩個 token 直接計算關聯且可平行、位置編碼補上詞序、多頭在不同子空間學關聯;會算 Query 投影的矩陣維度。

Official Evidence

官方題目正在怎麼考

16 官方題7 考綱節點