P2 · 辨識即可
機器學習
梯度消失與梯度爆炸 (Vanishing and Exploding Gradients)
是什麼
反向傳播時梯度逐層連乘：若各層導數多小於 1，傳到淺層的梯度趨近 0（梯度消失），淺層幾乎不更新；若多大於 1，梯度指數放大（梯度爆炸），造成更新失控或 NaN。
解決什麼問題
用來診斷深層網路與 RNN 訓練困難的原因，並對應解法：ReLU、殘差連接、批次正規化、梯度裁剪、LSTM。
考場 Trigger
- 深層網路淺層權重幾乎不更新
- Sigmoid 兩端飽和
- 損失突然變成 NaN
容易搞混
殘差連接梯度裁剪常見啟動函數
中級深度
能分辨消失與爆炸的徵兆並對應解法：消失用 ReLU、殘差連接，爆炸用梯度裁剪。