P1 · 應會
生成式 AI
提示微調 (Prompt Tuning)
是什麼
提示微調凍結預訓練模型的全部權重，只訓練加在輸入前的一小段可學習連續向量（軟提示，Soft Prompt），屬於參數高效微調（PEFT）的一種。
解決什麼問題
以極少的可訓練參數讓同一個大模型適應不同任務，每個任務只需另存一組軟提示。
考場 Trigger
- 凍結模型只學輸入端向量
- 軟提示
- 不更新模型權重
容易搞混
Fine-tuning 與 PEFT提示工程LoRA 參數高效微調
中級深度
能分辨提示微調學連續向量、提示工程改人寫文字、LoRA 在權重旁加低秩矩陣、全量微調更新所有權重。