P2 · 辨識即可
機器學習
批次正規化 (Batch Normalization, BN)
是什麼
在神經網路的層與層之間，用小批次的平均與變異數把激活值標準化，再以可學習的縮放與平移參數調整，使各層輸入的分布較穩定。
解決什麼問題
加快深度網路收斂、允許使用較大的學習率，並減輕對權重初始化的敏感度。
考場 Trigger
- BatchNormalization 層
- 穩定各層輸入分布
- 加速訓練收斂
容易搞混
丟棄法標準化標準化與正規化
中級深度
能在 CNN 程式碼認出 BatchNormalization，說明它穩定分布，與抑制過擬合的 Dropout 不同。