過度冗餘

速報

最小核心揭密：語言模型推理痕跡常見過度冗贅

研究針對語言模型產出的長推理痕跡是否過度冗長。作者提出「最小核心」概念，透過壓縮比、冗餘質量等指標，抽出保存答案或預測分布的最少步驟。結果顯示平均可刪除46%步驟且86%情況保留原答案，核心三步貢獻65%必要性。此外最小核心在區分正誤痕跡、降維與跨模型移轉上也有明顯改善。