P1 · 應會
機器學習
批次大小與泛化 (Batch Size and Generalization)
是什麼
批次大小影響梯度估計的雜訊:大批次梯度較準、訓練快,但較易收斂到尖銳極小值(Sharp Minima)而泛化較差;小批次的梯度雜訊具有隱性正則化效果。
解決什麼問題
解釋為何加大批次能加速訓練卻可能降低測試表現,作為調整批次大小與學習率的依據。
考場 Trigger
- 大批次訓練後測試表現變差
- 梯度雜訊
- 尖銳與平坦極小值
- 隱性正則化
容易搞混
小批次梯度下降學習率過擬合與泛化
中級深度
能說出大批次梯度雜訊小、易落入尖銳極小值而泛化差,小批次的雜訊則有正則化效果。