P1 · 應會
生成式 AI
災難性遺忘 (Catastrophic Forgetting)
是什麼
模型在新任務或新資料上繼續訓練時，原有權重被大幅改寫，導致先前學會的能力明顯退化的現象。
解決什麼問題
提醒微調與持續學習時要保留舊能力，常以凍結主體、參數高效微調或混入舊資料來緩解。
考場 Trigger
- 微調後原本能力變差
- 新任務覆蓋舊知識
- 凍結主體只訓練 LoRA
容易搞混
LoRA 參數高效微調增量學習遷移學習
中級深度
能說明遺忘源於權重被改寫，並指出凍結大部分參數、只訓練 LoRA 可兼顧省資源與保留原能力。