← 返回知識庫刷題首頁
P1 · 應會

MLOps中級

延遲測試 (Latency Testing)

是什麼

延遲測試(Latency Testing)量測模型服務從接收輸入到回傳預測結果所花的時間,通常看平均值與 P95、P99 等尾端延遲,確認是否符合服務水準要求。

解決什麼問題

確認模型上線後回應速度能滿足即時應用的時間要求,例如推薦要在 100 毫秒內回應。

考場 Trigger

  • 從輸入到輸出的回應時間
  • P95、P99 尾端延遲
  • 上線前確認是否在毫秒限制內
  • 回應時間是否達標

容易搞混

模型部署與效能對抗性測試離線與線上評估指標

中級深度

能把延遲測試與資源使用、強健性、公平性測試區分,並說明為何要看尾端延遲而非平均。

Official Evidence

官方題目正在怎麼考

1 官方題1 考綱節點