P1 · 應會
資料
特徵融合 (Feature Fusion)
是什麼
特徵融合(Feature Fusion)是把來自不同來源或不同模態的特徵整合成一組供模型使用,例如把基因數值特徵與病歷文本的語意向量串接或加權結合,可在特徵層或決策層進行。
解決什麼問題
結合異質資料各自的資訊,讓模型同時利用多個來源;先依各自特性處理再融合,避免單一方法硬套而失真。
考場 Trigger
- 數值特徵與文本特徵一起用
- 異質來源特徵整合
- 先分別處理再合併
- 早期融合/晚期融合
容易搞混
晚期融合模態專屬編碼器跨模態對齊
中級深度
能說明異質特徵要先各自做選擇或表示學習再融合,並分辨特徵層與決策層兩種融合位置。