P1 · 應會
數學基礎
小批次梯度下降 (Mini-batch Gradient Descent)
是什麼
小批次梯度下降每次取一小批樣本（如 32～256 筆）計算平均梯度並更新參數，介於用全部資料的全批次梯度下降與每次一筆的隨機梯度下降（SGD）之間。
解決什麼問題
兼顧梯度估計的穩定性與更新速度，並能用 GPU 平行處理整批資料，是深度學習訓練的標準做法。
考場 Trigger
- 每次用一部分樣本更新
- 介於全批次與 SGD 之間
- 發揮 GPU 平行運算效率
容易搞混
優化器批次大小與泛化學習率
中級深度
能比較全批次、SGD、小批次在每次更新成本、梯度雜訊與記憶體需求的差異，並說出小批次為何最常用。