P1 · 應會
NLP
多任務學習損失權重 (Multi-task Loss Weighting)
是什麼
多任務學習損失權重是指多任務模型的總損失為各任務損失的加權和，權重決定各任務對共享參數梯度的影響力；權重或損失量級失衡會讓某個任務主導更新。
解決什麼問題
平衡任務間的競爭，避免一個任務變好、另一個變差；可用手動調權重、不確定性加權或梯度正規化。
考場 Trigger
- 一個任務變好另一個變差
- 共享編碼器接多個輸出頭
- 總損失是各任務加權和
容易搞混
損失函數災難性遺忘遷移學習
中級深度
能從任務此消彼長診斷出損失權重或量級失衡，並提出調整權重、統一損失尺度或動態加權的解法。