計算資源優化

深度分析

自適應預算在多回合推理中的效能提升與資源優化

隨著大型語言模型推理效能趨於飽和，研究者提出自適應思考預算（TAB）以提升多回合推理效率。TAB 透過多目標馬可夫決策過程，根據對話歷史動態分配 token，將較簡單回合的預算縮小，保留資源給關鍵回合，實驗顯示可節省 35% 以上 token 同時維持準確率。