P1 · 應會
機器學習
偏差與變異權衡 (Bias-Variance Tradeoff)
是什麼
模型誤差可拆成偏差(Bias,模型太簡單而系統性偏離)與變異(Variance,對訓練資料太敏感而結果波動);模型越複雜,偏差越低、變異越高,需取得平衡。
解決什麼問題
依訓練與驗證表現診斷欠擬合或過擬合,決定該提高模型複雜度,還是加正則化或增加資料。
考場 Trigger
- 訓練好但驗證差
- 不同折的結果波動大
- 訓練與驗證都差
- 模型太簡單或太複雜
容易搞混
過擬合與泛化模型複雜度控制學習曲線
中級深度
能由訓練與驗證的差距、K-fold 各折的波動判斷高偏差或高變異,並提出對應的處置。