P2 · 辨識即可
機器學習
特徵萃取與微調 (Feature Extraction vs Fine-tuning)
是什麼
遷移學習的兩種用法:特徵萃取(Feature Extraction)凍結預訓練模型全部權重、只訓練新加的輸出層;微調(Fine-tuning)則解凍部分或全部層,以小學習率在新資料上繼續更新。
解決什麼問題
依新任務資料量與和原任務的相似度選策略:資料少且相近用特徵萃取,資料較多或差異較大才微調。
考場 Trigger
- requires_grad=False 凍結骨幹
- 只訓練新的分類層
- 解凍部分層繼續訓練
- 微調用很小的學習率
容易搞混
遷移學習Fine-tuning 與 PEFT災難性遺忘
中級深度
能從凍結設定辨認是哪種策略,並說明微調要用小學習率以免破壞預訓練特徵。