P1 · 應會
機器學習
資訊增益 (Information Gain, IG)
是什麼
資訊增益（Information Gain）是分裂前節點的熵（Entropy）減去分裂後各子節點熵的加權平均，數值越大代表用該特徵分裂後，資料變得越純。
解決什麼問題
作為決策樹（如 ID3、C4.5）每次分裂時選擇特徵的準則：挑資訊增益最大的特徵往下切。
考場 Trigger
- 分裂後熵降低多少
- ID3、C4.5 選擇分裂特徵
- Entropy 熵
- 決策樹分裂準則
容易搞混
吉尼不純度決策樹與隨機森林
中級深度
能用熵算出簡單分裂的資訊增益，並分清 ID3 用資訊增益、CART 用吉尼不純度。