P1 · 應會
機器學習
早期停止 (Early Stopping)
是什麼
早期停止(Early Stopping)是在訓練過程中持續監控驗證集指標(通常是驗證損失),當它連續若干輪(耐心值,Patience)都沒有改善時就停止訓練,並保留驗證表現最好的那組權重。
解決什麼問題
防止模型在訓練資料上越練越好、卻在驗證資料上開始變差的過擬合,同時省下多餘的訓練輪數。
考場 Trigger
- 驗證損失開始回升
- 連續 N 個 epoch 沒有改善就停
- 耐心值(patience)
- 驗證損失短期上下波動
容易搞混
丟棄法L1 與 L2 正則化學習曲線
中級深度
能說出要監控驗證損失而非訓練損失,並解釋驗證損失波動時加大耐心值可避免過早停止。