P1 · 應會
生成式 AI
LoRA 參數高效微調
是什麼
LoRA = Low-Rank Adaptation；凍結原模型大部分權重，只訓練少量低秩適配參數。
解決什麼問題
這題考資源受限時，LoRA 透過訓練少量低秩適配參數，避免更新整個大型模型。
考場 Trigger
- 看到『GPU／記憶體受限＋PEFT＋少量更新參數』→ LoRA
初級深度
掌握主要用途、考試線索與必要邊界即可。
中級深度
要能說出 LoRA 省下梯度與優化器狀態的 GPU 記憶體、可緩解災難性遺忘，並知道參數預算固定時，低 rank 套用更多層通常勝過高 rank 只調少數層。