P2 · 辨識即可
生成式 AI
參數高效微調 (Parameter-Efficient Fine-Tuning, PEFT)
是什麼
參數高效微調（PEFT）凍結預訓練模型大部分權重，只訓練少量新增或選定的參數，讓模型適應新任務；LoRA 是最常見的方法。
解決什麼問題
大幅降低微調所需的 GPU、記憶體與儲存成本，讓資源有限的團隊也能客製化大型模型。
考場 Trigger
- GPU／記憶體受限
- 只更新少量參數
- LoRA、Adapter
容易搞混
LoRA 參數高效微調免訓練適應
初級深度
看到名稱能辨識其類型與主要用途即可。
中級深度
要能分辨各做法改動的位置：LoRA 在權重旁加低秩矩陣、提示微調只學輸入端的軟提示向量，兩者都凍結主模型；並與蒸餾、剪枝等壓縮技術區分。