← 返回知識庫刷題首頁
P1 · 應會

機器學習中級

批次大小與泛化 (Batch Size and Generalization)

是什麼

批次大小影響梯度估計的雜訊:大批次梯度較準、訓練快,但較易收斂到尖銳極小值(Sharp Minima)而泛化較差;小批次的梯度雜訊具有隱性正則化效果。

解決什麼問題

解釋為何加大批次能加速訓練卻可能降低測試表現,作為調整批次大小與學習率的依據。

考場 Trigger

  • 大批次訓練後測試表現變差
  • 梯度雜訊
  • 尖銳與平坦極小值
  • 隱性正則化

容易搞混

小批次梯度下降學習率過擬合與泛化

中級深度

能說出大批次梯度雜訊小、易落入尖銳極小值而泛化差,小批次的雜訊則有正則化效果。

Official Evidence

官方題目正在怎麼考

1 官方題1 考綱節點