P1 · 應會
數學基礎
矩陣乘法 (Matrix Multiplication)
是什麼
矩陣乘法把形狀 (m, n) 的矩陣與 (n, p) 的矩陣相乘，要求左矩陣的欄數等於右矩陣的列數（內側維度相同），結果形狀為 (m, p)，每個元素是對應列與行的內積。
解決什麼問題
神經網路的線性層、注意力的 Query／Key／Value 投影都是矩陣乘法，用來推算各層輸入輸出形狀與參數量。
考場 Trigger
- (m, n) × (n, p)
- 投影後的輸出維度
- 權重矩陣的形狀
容易搞混
向量與矩陣運算Transformer 與注意力
中級深度
能由輸入與權重形狀推出輸出形狀，例如 (L, d)×(d, k) 得 (L, k)，並判斷維度不合。