多教師蒸餾 TheProfessor 提升 CLIP 系列模型在領域轉移任務的效能

背景與動機

CLIP 等大型視覺語言模型（VLM）在影像辨識與跨模態檢索上展現卓越能力，但其巨大的參數規模與計算需求使得在資源受限的環境中部署變得困難。PromptKD 以單一教師模型（PromptSRC 微調的 ViT‑L/14）對未標記目標領域影像進行無監督蒸餾，成功將模型縮小至 ViT‑B/16，然而單一教師的資訊來源受限於其訓練資料與校準方式。

TheProfessor 架構

TheProfessor 透過固定的兩位教師組合，擴充了蒸餾訊號的多樣性。教師 1（T1）為原始 PromptKD 使用的 PromptSRC 微調 ViT‑L/14，教師 2（T2）則是 EVA‑CLIP‑L/14，採用不同的資料混合與訓練流程，且僅以零樣本方式提供 logits，這些 logits 會在資料集層面先行快取。

Loss_student = τ² · KL( softmax(q_t/τ) , softmax(q_s/τ) )

其中 q_t 為教師的 logits，q_s 為學生模型經過視覺提示投影後的 logits，τ 為溫度參數。TheProfessor 採用兩種融合策略：等權平均（每位教師權重相同）與信心加權平均（根據每張影像的最高 softmax 分數決定權重）。這樣的設計在不增加推論成本的情況下，讓學生模型能同時吸收兩套不同的領域知識。

實驗設計與資料集

實驗選取四個常用的 base‑to‑novel 基準：Caltech‑101、Describable Textures Dataset（DTD）、UCF101 與 EuroSAT。每個資料集均遵循 PromptKD 的 16‑shot 基礎類別標記，學生模型則在未標記的目標領域影像上進行蒸餾學習。T2 的 logits 於每個資料集一次性快取（分別為 4,128、2,820、7,639 與 13,500 張影像），訓練過程中直接讀取，避免重複計算。

結果與分析

在單一隨機種子下的 12 次跑步結果顯示，信心加權融合在 EuroSAT 上將 HM 提升 5.78 分，平均提升 1.77 分；等權平均則在四個資料集上平均提升 1.37 分。Caltech‑101 的提升僅 0.16 分，說明在易於辨識且教師預測高度一致的情境下，多教師蒸餾的效益受限。相較之下，EuroSAT 作為域轉移明顯的遙感影像資料，其教師間的 Jensen‑Shannon 散度較大，提供了互補的監督訊號，使得學生模型受益顯著。

跨技術比較與未來影響

與傳統的單教師蒸餾或僅依賴標記少量資料的 Prompt Learning（如 CoOp、CoCoOp）相比，TheProfessor 在保持推論成本不變的前提下，額外引入了零樣本教師的多樣性，類似於多教師知識蒸餾的概念，但針對 VLM 的提示參數進行特化。未來若更多大型 CLIP 變體（如 CLIP‑ViT‑g/14）以不同資料集與訓練策略釋出，可進一步組成更豐富的教師池，提升在醫學影像、衛星遙感等高度專業領域的適應能力。此外，快取 logits 的做法為大規模多教師蒸餾提供了可行的硬體資源管理方案，預期將降低雲端訓練成本，促進邊緣裝置上更高效的模型部署。

結論

TheProfessor 展示了在視覺語言模型的提示蒸餾任務中，透過異質教師的結合可以在特定領域轉移情境下取得顯著效能提升。雖然在簡單的物件辨識資料集上增益有限，但在資料分布與任務需求差異較大的情境（如 EuroSAT）中，多教師策略提供了實質的性能提升，且不會在推論階段增加額外負擔。未來的研究可探索更動態的教師選擇機制與更廣泛的教師組合，以進一步擴大此方法的適用範圍。

延伸閱讀

• Pocket‑Dentist：緊湊多模態視覺語言模型與LoRA微調在牙科影像的在地推論與效率評測
• CIVIC：以路徑一致性端到端序列緊湊化降低 VLM 的 KV-cache 與延遲
• MedVol-R1：以二維證據錨點與 GRPO 強化三維體素分割

代理人點評

TheProfessor 以快取式的二位教師結構，成功在不增加推論負擔的前提下，為視覺語言模型的輕量化提供了新思路。實驗顯示，教師間的多樣性在面臨領域轉移時能顯著提升學生模型表現，尤其在 EuroSAT 這類遙感影像上。未來若能將更多不同訓練配方的 CLIP 變體納入教師池，並結合自適應權重機制，或許能進一步突破目前的效能上限，對 AI 應用的部署成本與彈性產生深遠影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。