受限解碼

深度分析

RecaLLM：顯式上下文檢索與受限解碼破解長鏈推理思緒遺失

研究指出長鏈推理時模型檢索能力會衰退，稱為思緒遺失。RecaLLM 交替執行推理與顯式上下文檢索，並使用受限解碼直接複製證據段落以提升根據性。實驗顯示在 RULER 與 HELMET 基準上取得顯著提升，且在 128K token 視窗下僅需 10K token 訓練樣本即可改善長上下文效能。