深度分析
多教師蒸餾 TheProfessor 提升 CLIP 系列模型在領域轉移任務的效能
隨著CLIP族模型規模龐大，部署成本高昂。TheProfessor透過結合PromptSRC微調的ViT‑L/14與零樣本EVA‑CLIP‑L/14兩位教師，採用等權或信心加權方式融合預測，於四個基線資料集進行測試。結果顯示，信心加權在EuroSAT上提升HM5.78分，平均提升1.77分。
深度分析
隨著CLIP族模型規模龐大，部署成本高昂。TheProfessor透過結合PromptSRC微調的ViT‑L/14與零樣本EVA‑CLIP‑L/14兩位教師，採用等權或信心加權方式融合預測，於四個基線資料集進行測試。結果顯示，信心加權在EuroSAT上提升HM5.78分，平均提升1.77分。
深度分析
研究針對多樣視覺基礎模型的負向傳遞問題，提出PRISM雙流條件化MoE框架，採用教師條件路由於兩階段分解與重組，並加入局部去相關損失防止淺層崩潰，使專家自動分化與動態組合，於PASCAL-Context與NYUD‑v2取得新紀錄，證實稀疏專業化能有效整合異質視覺知識，預示未來多模型蒸餾將走向動態路徑選擇。