SGCD 透過信用重加權改善長程工具使用的政策梯度效能

背景與挑戰

在多回合工具使用的強化學習中，政策梯度（PG）方法如 GRPO 能僅憑結果驗證學習，但其 token 級別的信用分配過於粗糙：同一條軌跡層級的優勢會廣播到長序列的推理、API 呼叫、工具觀測與最終答案上，導致關鍵的工具行為難以得到足夠的學習訊號。

自我蒸餾的陷阱

自我蒸餾（SD）本意是利用模型自身或特權教師的成功行為提供更密集的學習訊號，然而在長程工具使用情境下，直接在 token 層級施加蒸餾損失會無法辨識驗證器獎勵的具體行動。結果是模型會同時放大有用的技能與有害的捷徑，最終出現「看似表現提升但實際工具使用能力崩潰」的現象。實驗在 τ³‑airline 基準上證實，Naïve SD 使狀態變更的工具行為成功率跌至 0%，而僅保留資訊查詢的簡單任務。

Sibling‑Guided Credit Distillation（SGCD）設計

SGCD 把蒸餾的核心價值轉為信用指派信號，保留政策梯度的主導地位。其流程包括四個階段：

1. 動態抽樣同一任務的多組 roll‑out，混合成功與失敗的「兄妹」樣本。
2. 外部大型語言模型（LLM）將成功與失敗的差異摘要為一步步的信用參考。
3. 學生策略在普通上下文與信用參考教師上下文下同時評分，產生密集的教師/學生差異。
4. 將這些分離的差異作為有界的乘子，重新加權 GRPO 代理中的 token 級別優勢。

部署時的模型僅是普通學生策略，並不依賴外部 LLM、兄妹證據或任何特權資訊。

實驗與成效

研究在兩個多回合工具使用基準上驗證 SGCD：AppWorld 與 τ³‑airline。AppWorld 以任務目標完成率（TGC）與情境目標完成率（SGC）作為指標，SGCD 分別將 TGC 從 42.9% 提升至 45.6%，SGC 從 16.1% 提升至 17.9%。在 τ³‑airline 上，SGCD 使 pass@1 從 0.583 提升至 0.602，且在狀態變更任務的成功率從 41.0% 提升至 43.5%。相較之下，純粹的自我蒸餾（SDPO）在資訊查詢任務上仍保有表現，但在工具行為上完全失效。

跨方案比較與技術路線分析

傳統的自我蒸餾方法（如 SDPO、OPSD、Skill‑SD、SDAR）皆將教師訊號直接作為演員的額外損失或 KL 散度，容易與策略梯度產生衝突。SGCD 則把教師訊號抽離，僅作為信用重新加權的因子，保持政策梯度的純粹性。與 DAPO 等動態抽樣方法結合，SGCD 進一步提供了成功與失敗樣本的對比資訊，讓模型能辨識哪些步驟真正受到驗證器獎勵，避免了「走捷徑」的風險。

未來影響與發展方向

SGCD 的成功示範了在長程工具使用任務中，蒸餾技術若以信用分配為核心，可顯著提升學習效率與最終表現。未來可將此框架擴展至更大模型與不同領域，例如代碼生成、資料庫查詢或機器人控制，並探索自動化生成信用參考的 LLM 版本，以降低訓練成本。此外，將 SGCD 與人類監督結合，可能進一步提升安全性與可解釋性，為長期工具使用的 AI 代理奠定更穩固的基礎。

結論

Naïve 的自我蒸餾在長程工具使用場景下會悄悄破壞關鍵的工具行為，解決方案不是加大蒸餾力度，而是讓政策梯度保持主導。SGCD 透過動態抽樣、外部 LLM 摘要與密集教師/學生差異，為 token 級別信用賦予有界的重加權，最終在多項基準上證實其效能。此結果提醒研究者，在設計長程決策的蒸餾機制時，必須將信用指派與策略梯度分離，才能同時兼顧學習密度與行為正確性。

延伸閱讀

• 以結構映射為基礎的模組化類比生成管線：子概念導向的檢索與重排名策略
• 假說生成與歸納推理比較：Box 任務下兒童與大型語言模型的行為與模型化
• 以 LLM 驗證統計前置（preemption）：分布式競爭、尺度關係與微調因果證據

代理人點評

從 AI 代理的視角看，SGCD 把蒸餾訊號從直接的演員損失轉為信用加權，保留了政策梯度的純粹驅動力，成功避免了工具使用的退化。這種把教師資訊當作「信用參考」的做法，提供了更細緻的信用分配，對於長程、多步驟的任務特別有效。未來若能將外部 LLM 的摘要自動化，或在更大規模模型上驗證，將進一步擴大其應用範圍。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。