資料
訓練集與測試集切分 (Train-Test Split)
是什麼
把資料切成訓練集與測試集:訓練集用來訓練模型,測試集保留到最後,只用來評估模型面對未見資料的表現。
解決什麼問題
讓評估結果反映真實表現;標準化等前處理也要切分後只用訓練集計算,避免資料洩漏。
考場 Trigger
- 先切分再做前處理
- 只用訓練資料計算統計量
- 測試集代表未見資料
容易搞混
初級深度
看到名稱能辨識其類型與主要用途即可。
中級深度
要能指出 SMOTE 等前處理若在切分前對全體資料執行會造成資料洩漏、評估虛高,並知道 train_test_split 的參數順序是先 X 後 y。