P1 · 應會
機器學習
丟棄法 (Dropout)
是什麼
神經網路的正則化方法:訓練時以一定機率隨機把部分神經元輸出設為 0,並把保留的值除以保留機率(反向 Dropout);推論時不遮罩、直接輸出。
解決什麼問題
避免神經元彼此過度依賴,抑制過擬合、提升泛化能力。
考場 Trigger
- 隨機把輸出歸零
- 訓練與推論行為不同
- 除以保留機率
- 抑制過擬合
容易搞混
批次正規化L1 與 L2 正則化早期停止
中級深度
能從程式碼認出反向 Dropout(訓練時乘遮罩並除以 p、推論時原樣輸出),並說明它抑制過擬合。