深度分析
高維線性回歸下的光譜視角：揭示知識蒸餾與弱強泛化機制
研究聚焦於高維線性回歸中的知識轉移，透過光譜分析揭示知識蒸餾的光譜視界擴展與弱強泛化的光譜去噪機制，證明轉移效能受隱式正則化與光譜學習速率交互支配，對未來AI模型壓縮與強化學習具重要啟示。此發現亦說明在大模型微調時，教師模型的光譜特性可作為設計新型蒸餾策略的指標。
模型壓縮
深度分析
重正化群映射全連接深度神經網路訓練過程：理論與可解釋性分析
本研究探討全連接深度神經網路的可解釋性，將其訓練過程等同於統計物理的重正化群，針對指數族連續分布進行推導，證明最佳化後的特徵層參數即為RG固定點，此結果不僅驗證了先前在一維Ising模型上的等價性，也為未來將RG概念應用於更複雜的實際資料提供理論基礎。
深度分析
HARNESS‑LM（HLM）：以三階段訓練將SLM表示轉移至低延遲檢索器
贊助搜尋面臨高吞吐與低延遲的矛盾，HARNESS‑LM以三階段訓練：先以大型SLM訓出高品質teacher，再用ℓ2對齊轉移向量到小型query編碼器，最後以對比微調精煉學生模型。實驗顯示可在保有高精準度的同時大幅降低線上延遲並帶來營收與曝光提升。
PaddleNLP
PaddleNLP：飛桿平台上的高效能大語言模型與多模態支援
PaddleNLP是飛桿生態下的開源自然語言處理套件，提供簡易使用的LLM與SLM功能，支援多模型與分散式訓練。它整合超過百種預訓練模型與高效壓縮、推理工具，讓開發者快速建置產業級應用。自發布以來星標逾一萬，已成為中文NLP社群的重要資源。
深度分析
蒸餾技術在 Grok 訓練中的應用：xAI 訴訟焦點與產業影響分析
美國加州聯邦法院本週審理 Elon Musk 起訴 OpenAI 案，Musk 在證詞中承認 xAI 部分使用「蒸餾」技術從 OpenAI 模型訓練新聊天機器人 Grok，此舉可能削弱大型 AI 公司的算力與成本優勢。此技術亦被中國廠商利用，促使美國實驗室防範大量查詢，業界擔憂衝擊 AI 版權與治理，未來或重塑模型開發與商業化格局
深度分析
MoBiE：針對 MoE‑LLM 後訓練量化的二元化高效推論框架
MoE 大型語言模型效能佳但資源消耗高。MoBiE 透過聯合 SVD、全局梯度融合 Hessian 與零空間誤差約束，解決跨專家冗餘與路由偏移問題。實驗顯示在 Qwen3‑30B‑A3B 上 perplexity 降 52.2%，零樣本表現升 43.4%，推論速度提升逾 2 倍。
深度分析
S³：代數化結構化稀疏規格框架提升模型壓縮與二階梯度剪枝效能
隨著深度模型規模持續擴大，結構化稀疏成為關鍵壓縮手段。S³ 框架以 View、Block、Scope 三要素定義稀疏模式，支援跨張量耦合，並可與 OBD、OBS 整合。實驗顯示，基於 S³ 的二階剪枝在輸出重建上超越傳統啟發式，預示模型壓縮效率將顯著提升。
基因組模型
嵌入層蒸餾壓縮基因組模型：打造 0.5% 參數的高效 mRNA 表徵模型
大型基因組模型參數龐大、運算成本高。研究者採用嵌入層蒸餾將知識轉移至體積縮小 200 倍的 mRNA 模型，嵌入匹配優於 logits 方法。實驗證明新模型在 mRNA‑bench 基準上達到同等規模最佳表現，與大型模型相當。
知識蒸餾
知識蒸餾：將 12 個模型集合壓縮為部署友好 AI 模型
為降低大型模型在生產環境的延遲與複雜度，研究者利用知識蒸餾將 12 個教師模型的軟目標作為指導，訓練出更小的學生模型。透過溫度縮放與 KL 散度損失，學生模型在 160 倍壓縮下恢復 53.8% 的精度提升。此方法顯著提升部署效率，對 AI 應用具實質推動力。