最小核心揭密：語言模型推理痕跡常見過度冗贅
研究針對語言模型產出的長推理痕跡是否過度冗長。作者提出「最小核心」概念，透過壓縮比、冗餘質量等指標，抽出保存答案或預測分布的最少步驟。結果顯示平均可刪除46%步驟且86%情況保留原答案，核心三步貢獻65%必要性。此外最小核心在區分正誤痕跡、降維與跨模型移轉上也有明顯改善。
最小核心揭示模型推理痕跡多半過度冗贅
研究指出，語言模型常生成超出必要的長推理痕跡，但多數步驟對最終預測並非不可缺。團隊提出「最小核心」概念，尋找能維持答案或預測分布的最小步驟子集，並引入壓縮比、冗餘質量、步驟必要性與必要性集中度等指標。
在六組基準測試（涵蓋算術、競賽數學、科學專家推理與常識多跳問答）上，研究以貪婪最小核心抽取法為主。結果顯示，平均可刪除46%步驟，且在86%案例下仍保留原答案。衡量也表明，前三步平均承擔65%的必要性質量，顯示預測支持高度集中。
除了壓縮效益，最小核心讓推理幾何更清晰：與完整痕跡相比，正誤痕跡分離提升11個百分點，估計內在維度下降34%，不同模型間答案轉移亦能保留高比例。此外，論文提供最小充分子集存在性、貪婪消除的局部不可約性與冗贅檢證等理論保證，指向完整痕跡常為冗贅且最小核心可揭示預測的實際支撐結構。
延伸閱讀
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
