P1 · 應會
AI 基礎
晚期融合 (Late Fusion)
是什麼
晚期融合(Late Fusion)是多模態系統中各模態先由獨立模型分別做出預測,再在決策層以投票、平均或加權等方式整合;在輸入或特徵層就合併的則稱早期融合(Early Fusion)。
解決什麼問題
在某一模態品質不穩或缺失時仍維持穩健,也讓各模態模型能獨立開發與替換。
考場 Trigger
- 各模態先獨立預測再整合
- 決策層融合
- 單一模態品質不佳仍穩健
- 投票或加權平均各模型輸出
容易搞混
特徵融合模態缺失處理跨模態對齊
中級深度
能比較早期與晚期融合:晚期較穩健但難學跨模態互動,早期反之。