無資料壓縮

深度分析

「參數聚類」在 HuBERT 與 Whisper 大型語音模型的無資料壓縮實驗與成效

本研究提出一種不需原始資料與額外訓練的語音基礎模型壓縮技術，透過通道維度的k‑means參數聚類取代傳統剪枝。作者同時探索層級變化的混合稀疏度，使不同層可保留不同數量的聚類中心，達成結構化、粗粒度的模型縮減。