視覺代幣剪枝

深度分析

基於資訊理論的視覺代幣剪枝框架 TOPS 在多模態大型語言模型中的效能突破

多模態大型語言模型面臨視覺代幣過多的效能瓶頸。TOPS 從資訊理論出發，提出任務相關、資訊覆蓋與語意多樣三原則，建構最佳保留代幣集合。實驗證明在 LLaVA‑NeXT 等模型上削減77.8%代幣，仍能維持100%以上效能，顯示剪枝可降低計算成本並減少幻覺。