P1 · 應會
機器學習
殘差連接 (Residual Connection)
是什麼
殘差連接在網路層之間加一條恆等捷徑，讓輸出變成 F(x) + x，層只需學習輸入與輸出的差（殘差）。梯度可沿捷徑直接回傳到淺層，是 ResNet 的核心設計。
解決什麼問題
解決網路加深後的梯度消失與退化問題（層數變多、訓練誤差反而上升），讓數十到上百層的網路仍能有效訓練。
考場 Trigger
- 網路加深後訓練損失反而變高
- 要訓練 50 層以上的 CNN
- F(x) + x 的捷徑
容易搞混
梯度消失與梯度爆炸批次正規化丟棄法
中級深度
能分辨加深後訓練誤差上升屬優化困難而非過擬合，並說出殘差連接如何讓梯度跨層回傳。