P1 · 應會
機器學習
學習率 (Learning Rate)
是什麼
學習率（Learning Rate）是梯度下降每次更新參數的步長，屬於訓練前設定的超參數；太大會在最低點兩側跳動造成損失震盪或發散，太小則收斂緩慢或卡在不佳的位置。
解決什麼問題
控制訓練收斂的速度與穩定性，是最優先調整的超參數，常搭配學習率排程或 Adam 等自適應優化器。
考場 Trigger
- 訓練損失劇烈震盪或發散
- 收斂速度太慢
- 學習率排程、warmup
- Adam 自適應學習率
容易搞混
優化器超參數調校批次大小與泛化
中級深度
能從損失曲線判斷學習率過大或過小，並說出 Adam 如何為每個參數自適應調整步長。