← 返回知識庫刷題首頁
P2 · 辨識即可

機器學習中級

特徵萃取與微調 (Feature Extraction vs Fine-tuning)

是什麼

遷移學習的兩種用法:特徵萃取(Feature Extraction)凍結預訓練模型全部權重、只訓練新加的輸出層;微調(Fine-tuning)則解凍部分或全部層,以小學習率在新資料上繼續更新。

解決什麼問題

依新任務資料量與和原任務的相似度選策略:資料少且相近用特徵萃取,資料較多或差異較大才微調。

考場 Trigger

  • requires_grad=False 凍結骨幹
  • 只訓練新的分類層
  • 解凍部分層繼續訓練
  • 微調用很小的學習率

容易搞混

遷移學習Fine-tuning 與 PEFT災難性遺忘

中級深度

能從凍結設定辨認是哪種策略,並說明微調要用小學習率以免破壞預訓練特徵。

Official Evidence

官方題目正在怎麼考

2 官方題2 考綱節點