深度分析
S³：代數化結構化稀疏規格框架提升模型壓縮與二階梯度剪枝效能
隨著深度模型規模持續擴大，結構化稀疏成為關鍵壓縮手段。S³ 框架以 View、Block、Scope 三要素定義稀疏模式，支援跨張量耦合，並可與 OBD、OBS 整合。實驗顯示，基於 S³ 的二階剪枝在輸出重建上超越傳統啟發式，預示模型壓縮效率將顯著提升。
模型壓縮
基因組模型
嵌入層蒸餾壓縮基因組模型：打造 0.5% 參數的高效 mRNA 表徵模型
大型基因組模型參數龐大、運算成本高。研究者採用嵌入層蒸餾將知識轉移至體積縮小 200 倍的 mRNA 模型，嵌入匹配優於 logits 方法。實驗證明新模型在 mRNA‑bench 基準上達到同等規模最佳表現，與大型模型相當。
知識蒸餾
知識蒸餾：將 12 個模型集合壓縮為部署友好 AI 模型
為降低大型模型在生產環境的延遲與複雜度，研究者利用知識蒸餾將 12 個教師模型的軟目標作為指導，訓練出更小的學生模型。透過溫度縮放與 KL 散度損失，學生模型在 160 倍壓縮下恢復 53.8% 的精度提升。此方法顯著提升部署效率，對 AI 應用具實質推動力。