速報
跨模態知識蒸餾新框架：無配對資料也能有效對齊特徵與標籤
研究提出一套跨模態知識蒸餾（CMKD）新框架，解決以往需配對多模態資料的限制。透過建立教師與學生模型之間的分布關係，核心聚焦於特徵對齊與標籤對齊兩大要素，讓蒸餾過程以分布而非單一樣本為基礎。理論上證明此方法具備有效性，實驗在多項多模態基準測試中，於有配對與無配對情境皆顯著優於既有技術，顯示出在資料取得成本高的情況下仍能提升小模型的表現。
速報
研究提出一套跨模態知識蒸餾（CMKD）新框架，解決以往需配對多模態資料的限制。透過建立教師與學生模型之間的分布關係，核心聚焦於特徵對齊與標籤對齊兩大要素，讓蒸餾過程以分布而非單一樣本為基礎。理論上證明此方法具備有效性，實驗在多項多模態基準測試中，於有配對與無配對情境皆顯著優於既有技術，顯示出在資料取得成本高的情況下仍能提升小模型的表現。
深度分析
一項由Dharma發表的實驗針對企業OCR任務比較了專門化小模型與大型通用API。研究透過分階段微調與對齊，將模型訓練歷史移向目標任務，並評估品質、成本與生產穩定性。結果顯示在該領域內，經過專門化的小模型在準確度、推理成本與文本退化率等面向均勝過多數商業前沿API，改變了採購與模型選擇的策略考量。