P1 · 應會
MLOps
GPU 記憶體最佳化 (GPU Memory Optimization)
是什麼
GPU 記憶體最佳化是在顯示卡記憶體（VRAM）有限時，透過調整批次大小、多卡資料平行、混合精度、梯度累積或參數高效微調等手段，讓訓練或推論能放進記憶體並維持效率。
解決什麼問題
解決訓練時記憶體不足（Out of Memory）或推論時 GPU 使用率低的問題，在不換硬體下把模型跑起來。
考場 Trigger
- CUDA out of memory
- 縮小單卡批次並分散到多張 GPU
- 顯存已滿還要訓練
- GPU 使用率偏低、kernel 間閒置
容易搞混
模型壓縮與效能優化LoRA 參數高效微調動態批次處理
中級深度
能在模型與硬體不可改時選縮小單卡批次加資料平行，並估算參數量對記憶體的影響。