P1 · 應會
機器學習
模態專屬編碼器 (Modality-specific Encoder)
是什麼
模態專屬編碼器是多模態系統中依各模態資料結構選用的特徵擷取網路，如影像用 CNN、文字用 Transformer、時序感測用 LSTM 或時間卷積，再把特徵交給融合層。
解決什麼問題
讓每種模態用最能捕捉其結構的模型萃取特徵，避免一種架構處理所有資料而失去空間或時間資訊。
考場 Trigger
- 影像、文字、感測器各配什麼模型
- 依資料特性選擇特徵擷取器
- 多模態系統的前端編碼
容易搞混
特徵融合跨模態對齊卷積神經網路
中級深度
能把影像、文字、時序資料分別配對到 CNN、Transformer、LSTM 或時間卷積，並說明各自捕捉的結構。