代幣裁剪

深度分析

SVD‑Prune：免訓練視覺語言模型的單值分解代幣裁剪技術

隨著視覺語言模型需求增長，計算成本成為瓶頸。SVD‑Prune 透過奇異值分解與杠桿分數，選取全局變異貢獻最大的代幣，免除訓練流程。實驗證明即使僅保留 16‑32 個代幣，仍能保持接近完整模型的效能，顯著優於傳統裁剪方法。