P1 · 應會
AI 導入
離線與線上評估指標 (Offline vs Online Metrics)
是什麼
離線指標是用歷史資料評估模型預測能力的指標（如 AUC、RMSE）；線上指標是模型上線後在真實流量量測的業務成效（如點擊率 CTR、轉換率、營收）。
解決什麼問題
離線指標高不保證業務成功，評估 AI 導入成效要結合線上業務指標、成本與對照組比較。
考場 Trigger
- 離線 AUC 很高但業務沒改善
- CTR、營收等業務指標
- 上線後與對照組比較
容易搞混
ROC 與 AUC金絲雀發布投資報酬率
中級深度
能說明離線與線上落差的成因（資料漂移、使用者行為改變），並選出用 A/B 測試或金絲雀發布量測線上指標。