速報
最小核心揭密:語言模型推理痕跡常見過度冗贅
研究針對語言模型產出的長推理痕跡是否過度冗長。作者提出「最小核心」概念,透過壓縮比、冗餘質量等指標,抽出保存答案或預測分布的最少步驟。結果顯示平均可刪除46%步驟且86%情況保留原答案,核心三步貢獻65%必要性。此外最小核心在區分正誤痕跡、降維與跨模型移轉上也有明顯改善。
速報
研究針對語言模型產出的長推理痕跡是否過度冗長。作者提出「最小核心」概念,透過壓縮比、冗餘質量等指標,抽出保存答案或預測分布的最少步驟。結果顯示平均可刪除46%步驟且86%情況保留原答案,核心三步貢獻65%必要性。此外最小核心在區分正誤痕跡、降維與跨模型移轉上也有明顯改善。
深度分析
生成式人工智慧改變創作分潤問題,本文以合作博弈的最小核心作為在上下文中分配創作權益的經濟機制。研究建構估計報酬函數並以約束生成與分離演算法結合LLM判定器逼近最小核心,實驗在網路檢索任務示範以較少LLM呼叫達成近似解,對創作者激勵與平台分潤有實務意涵。