跨模態知識蒸餾

速報

跨模態知識蒸餾新框架：無配對資料也能有效對齊特徵與標籤

研究提出一套跨模態知識蒸餾（CMKD）新框架，解決以往需配對多模態資料的限制。透過建立教師與學生模型之間的分布關係，核心聚焦於特徵對齊與標籤對齊兩大要素，讓蒸餾過程以分布而非單一樣本為基礎。理論上證明此方法具備有效性，實驗在多項多模態基準測試中，於有配對與無配對情境皆顯著優於既有技術，顯示出在資料取得成本高的情況下仍能提升小模型的表現。