AI 基礎
L1 與 L2 正則化
是什麼
L1 = Lasso = absolute-value penalty = 容易產生稀疏權重;L2 = Ridge = squared penalty = 權重平滑縮小。
解決什麼問題
這題考 L1/L2 的懲罰形式、別名,以及它們對權重的典型影響。
考場 Trigger
- 看到『權重變成 0/特徵選擇』→ L1
- 看到『平方懲罰/平滑縮小』→ L2
容易搞混
初級深度
掌握主要用途、考試線索與必要邊界即可。
中級深度
要能分辨 L1 使權重歸零、遇高度相關特徵只任意留一個;L2 只縮小不歸零,適合共線性下保留所有係數;並知道 XGBoost 在目標函數加樹複雜度正則化。