P1 · 應會
MLOps
延遲測試 (Latency Testing)
是什麼
延遲測試(Latency Testing)量測模型服務從接收輸入到回傳預測結果所花的時間,通常看平均值與 P95、P99 等尾端延遲,確認是否符合服務水準要求。
解決什麼問題
確認模型上線後回應速度能滿足即時應用的時間要求,例如推薦要在 100 毫秒內回應。
考場 Trigger
- 從輸入到輸出的回應時間
- P95、P99 尾端延遲
- 上線前確認是否在毫秒限制內
- 回應時間是否達標
容易搞混
模型部署與效能對抗性測試離線與線上評估指標
中級深度
能把延遲測試與資源使用、強健性、公平性測試區分,並說明為何要看尾端延遲而非平均。