P2 · 辨識即可
MLOps
動態批次處理 (Dynamic Batching)
是什麼
推論服務在極短的等待時間內，把陸續到達的多個請求合併成一個批次送進 GPU 計算，以批次上限與最長等待時間控制。
解決什麼問題
提高 GPU 使用率與吞吐量，改善小批次請求造成的 GPU 閒置與延遲抖動。
考場 Trigger
- GPU 使用率偏低
- 單次多為小批次
- 合併請求成批
- 延遲波動
容易搞混
模型部署與效能延遲測試GPU 記憶體最佳化
中級深度
能診斷小批次與排程不當造成的 GPU 閒置，並說明動態批次在吞吐量與單筆延遲之間的取捨。