P1 · 應會
數學基礎
非凸最佳化與局部最優解 (Non-convex Optimization and Local Optima)
是什麼
非凸最佳化是目標函數不是凸函數的最佳化問題，可能有多個局部極小值與鞍點；梯度型演算法只看局部斜率，可能停在局部最優解而非全域最優解。
解決什麼問題
深度神經網路的損失函數大多非凸，用來解釋訓練結果為何受初始值影響，以及動量、隨機重啟等手段的用意。
考場 Trigger
- 多個極值點
- 收斂到局部最優解
- 不同初始值結果不同
容易搞混
優化器學習率梯度消失與梯度爆炸
中級深度
能分辨凸問題局部最優即全域最優、非凸則否，並說出多次隨機初始化、動量、SGD 雜訊可幫助跳出。