P1 · 應會
MLOps
分群監控 (Slice-based Monitoring)
是什麼
分群監控把線上模型的指標依業務關鍵區段(如金額區間、地區、客群)切開分別追蹤,而不是只看整體平均指標。
解決什麼問題
避免占比小但影響大的子群體(如高額理賠)表現惡化被整體平均掩蓋,讓問題能及早被發現。
考場 Trigger
- 整體 RMSE 穩定但某區間誤差惡化
- 少數高價值案件被平均掩蓋
- 依客群或金額區間分開監控
容易搞混
輸出監控公平性指標資料漂移
中級深度
能指出只看整體指標的監控缺陷,並提出依業務關鍵區段切片、各自設門檻告警的設計。