P2 · 辨識即可
生成式 AI
低秩適配 (Low-Rank Adaptation, LoRA)
是什麼
低秩適配(LoRA)在微調時凍結原模型權重,只額外訓練少量低秩矩陣參數來調整模型行為,是常見的參數高效微調方法。
解決什麼問題
大幅減少要更新的參數與 GPU 記憶體需求,讓資源有限的團隊也能微調大型模型。
考場 Trigger
- GPU/記憶體受限
- 凍結原模型權重
- 只更新少量參數
容易搞混
參數高效微調LoRA 參數高效微調模型壓縮與效能優化
初級深度
看到名稱能辨識其類型與主要用途即可。