機器學習
決策樹與隨機森林 (Decision Tree and Random Forest)
是什麼
決策樹用一連串「是/否」條件逐層切分資料來預測;隨機森林訓練許多棵用不同抽樣資料與特徵建成的決策樹,再投票或平均結果。
解決什麼問題
決策樹好解釋、不受特徵尺度影響;隨機森林綜合多棵樹,降低單棵樹過擬合,預測更穩定。
考場 Trigger
- 依條件分支判斷
- 多棵樹投票/平均
- 不需標準化特徵
- 特徵多、要穩定泛化
容易搞混
初級深度
看到名稱能辨識其類型與主要用途即可。
中級深度
要會算吉尼不純度(兩類各半為 0.5),知道資訊增益是 ID3/C4.5 的分裂準則、XGBoost 比 GBDT 多了正則化項與稀疏感知的缺失值處理。