深度分析
高維線性回歸下的光譜視角：揭示知識蒸餾與弱強泛化機制
研究聚焦於高維線性回歸中的知識轉移，透過光譜分析揭示知識蒸餾的光譜視界擴展與弱強泛化的光譜去噪機制，證明轉移效能受隱式正則化與光譜學習速率交互支配，對未來AI模型壓縮與強化學習具重要啟示。此發現亦說明在大模型微調時，教師模型的光譜特性可作為設計新型蒸餾策略的指標。
知識蒸餾
深度分析
CIST：樣本自適應溫度穩定軟標籤以強化知識蒸餾
知識蒸餾常以固定溫度 τ 平滑教師預測以揭露「暗知識」，卻忽略樣本間 logit 尺度差異，導致軟標籤熵值高度不一致。CIST（Consistently Informative Soft-label Temperature）提出針對每個樣本的自適應溫度，並對教師與學生採用獨立溫度，同時依教師信心與學生學習難度重新加權蒸餾損失。
深度分析
EvoDriveVLA 方法：結合自錨視覺蒸餾與 MC‑Dropout 軌跡精修改善自駕規劃穩定性
面對視覺編碼器解凍後感知退化與長期規劃不穩定的挑戰，EvoDriveVLA 提出一套協同感知—規劃蒸餾框架，結合「自錨視覺蒸餾」與「oracle 指導的軌跡蒸餾」。前者透過自錨教師提供視覺錨定約束，並以軌跡導向的注意力加強關鍵區域表徵穩定；
深度分析
MOSAIC：以知識蒸餾驅動的多代理科學程式碼生成框架
科學程式開發常缺乏測試案例，傳統多代理 LLM 框架依賴執行回饋，難以應對此類需求。研究提出 MOSAIC，採用教師‑學生知識蒸餾與結構化問題分解，在不需要 I/O 測試的情況下仍能產出可執行且數值精準的程式碼。
聯邦學習
FedSIR — 頻譜識別、保守重標記與噪聲感知聚合於聯邦學習
聯邦學習面臨各端標籤噪聲威脅。本研究提出FedSIR透過類別特徵的頻譜結構辨識乾淨與不良客戶端，並以乾淨端的主向量與殘差子空間做保守重標記，最後結合logit調整損失、知識蒸餾與距離感知聚合穩定訓練。實驗指向FedSIR在多種噪聲與異質性場景下優於現有基準，改善了聯邦學習的抗噪能力。
深度分析
MAVEN‑T：結合強化學習的多代理環境感知軌跡預測框架
針對自駕車多代理環境的軌跡預測，MAVEN‑T結合教師‑學生框架、混合注意力與多粒度蒸餾，並加入強化學習以突破模仿上限，實驗顯示參數縮減6.2倍、推論提速3.7倍，保持最先進準確度，此成果為資源受限裝置部署提供可行路徑。
窗口注意力
WAND：窗口式注意力與知識蒸餾提升自回歸文字轉語音效能
自回歸文字轉語音模型因全域自注意力在長序列上成本高。WAND 透過全局與局部窗口注意力結合，並以課程式學習與知識蒸餾穩定微調。實驗顯示在保持音質的前提下，快取記憶體減少逾 66%，推理延遲幾乎與序列長度無關。
知識蒸餾
知識蒸餾：將 12 個模型集合壓縮為部署友好 AI 模型
為降低大型模型在生產環境的延遲與複雜度，研究者利用知識蒸餾將 12 個教師模型的軟目標作為指導，訓練出更小的學生模型。透過溫度縮放與 KL 散度損失，學生模型在 160 倍壓縮下恢復 53.8% 的精度提升。此方法顯著提升部署效率，對 AI 應用具實質推動力。
KD-MARL
KD-MARL：透過結構化知識蒸餾實現多代理人強化學習的邊緣設備部署
面對多代理人強化學習（MARL）部署時的運算瓶頸，新研究 KD-MARL 提出一種資源感知知識蒸餾框架，能將複雜的專家策略轉移至輕量級學生模型。在 SMAC 與 MPE 基準測試中，KD-MARL 成功降低高達 28.6 倍的運算成本，且性能保持率超過 90%，讓 AI 協作能真正進入邊緣設備。