ICRL：透過強化學習將自我批評內化為解題器能力並進行分布校正

導言

大型語言模型在面對複雜任務時常會出錯。過去研究顯示，給模型自然語言的批評或回饋，能把失敗的生成修正為成功答案；但只要移除外部批評，模型通常又回到原先的錯誤策略，代表這些改動並未被內化為模型的固有能力。ICRL 的出發點是把「批評有效性」轉成可學習的信號，同時讓解題器（solver）內化那些可持久的修正模式。

方法概要：共同學習解題器與評論器

ICRL 在單一共享骨幹（backbone）下，透過不同角色提示（solver 與 critic）生成行為：解題器（solver）產生任務解答軌跡，評論器（critic）在失敗後生成自然語言批評，解題器再以此批評生成修正版。關鍵在於把評論器的報酬設計為「其批評對解題器後續表現的提升」，換言之，評論器不是被獎勵語句是否合理，而是被獎勵其回饋是否真能改善結果。

分布校正比重與角色化群體優勢估計

直接把評論條件下的成功軌跡拿來更新解題器會產生分布偏移：評論條件下的生成分布與未有評論時的生成分布不同，若不修正就會強化對評論依賴的行為。ICRL 提出一個 token-level 的分布校正比重（distribution-calibration re-weighting ratio），其作用是挑選那些在無評論情況下仍具合理性（plausibility）的生成片段，對這些詞元給予較高權重，對高度依賴評論上下文的詞元削弱權重，從而把可內化的修正選出來，讓解題器在其原始提示分布下學到可複現的改進。

為了穩定同時優化兩個角色，ICRL 採用角色化的群體優勢估計（role-wise group advantage estimation），分別對解題器與評論器的回饋做歸一化處理，保留每個角色的獨立學習信號，避免其中一方的梯度主導整體更新。

實驗設定與主要結果

作者在多種環境驗證 ICRL，包括文字世界（如 ALFWorld）、電商網頁導覽（WebShop）、多跳問答（HotpotQA、2WikiMultiHopQA 等），以及數學推理基準（MATH500、Minerva Math 等）。骨幹模型採 Qwen3-4B 與 Qwen3-8B，比對包括純提示基線、單代理強化學習（如 GRPO、GSPO）及已有的基於評論的方法（如 Critique-GRPO）。

實驗結果顯示 ICRL 在代理任務與數學推理上，能穩定超越多項強力基線；同時，作者指出學到的 8B 評論器在提供有用回饋的效率上，可相當於更大型的 frozen critic，代表共同學習能在成本與效能間取得平衡。

測試時自我改進的行為分析

在測試階段進行多輪 refinement 時，所有方法都會受益於更多嘗試，但來源不同：部分方法只是透過重抽樣獲得些微提升；Critique-GRPO 透過評論條件化有較一致提升；而 ICRL 不僅在第一輪就表現較強，後續輪次也呈現更大的改善幅度。這說明共同訓練後的評論器診斷能力更強，能提供更具行動導向的回饋，協助解題器辨識與修正先前的錯誤。

跨主題對比分析

與僅使用 frozen critic 的方法相比，ICRL 的主要差別在於評論器會與解題器同步進化，避免評論品質因解題器進步而滯後，克服靜態評論器造成的瓶頸。相較於基於策略梯度的強化學習（如 GRPO），ICRL 在報酬設計上把評論的下游效用直接回饋給評論器，形成更直接的效用迴圈。

和近期提出的 BBCritic（在評論評分器上重視細緻排序）相比，ICRL 更側重於「把評論轉換為解題器的可執行修正」，兩者具互補性：BBCritic 的度量學習視角有助於提升評論的細緻辨識能力，而 ICRL 的共同訓練機制能把有用的評論模式內化到解題器。

MobiBench 與其他行動代理評估框架強調在多樣化、可重複的環境下檢驗代理行為；ICRL 的分布校正概念與 MobiBench 的模組化評估理念相契合：都在於揭示在不同情境下哪些改進是可轉移且穩健的。

未來影響預測

技術面：若評論生成與內化能在同一模型中協同提升，未來代理系統可能不再依賴龐大外部評分器作為持續改進的唯一來源，進而降低運行成本並提高回饋的即時性。

開發者生態：工具鏈可能從單純的「人為標註→模型微調」轉向「模型內生的自我批評迭代」，這會改變資料蒐集與評估流程，也影響模型監控與治理策略，因為模型本身會在部署後持續產生學習信號。

商業格局：在成本與延遲敏感的產品場景，能以較小模型透過共同學習得到高效評論器的方案，對新創與中小廠商有利；但也可能促使大型廠牌競相優化自我改進閉環，形成新的競爭層級。

結語與洞見

ICRL 提供一條把批評回饋轉為可持久能力的路徑：關鍵在於把批評的下游效果作為學習目標，並在更新時校正分布差異以選擇性轉移可被內化的修正。與歷史上依賴 frozen critic 或僅做評論條件化的做法相比，ICRL 更強調雙向共同演化，對於打造能自我改善且在測試時仍有利用價值的代理，提供了實作上的新選項。未來可觀察的重點包括如何在更大尺度模型與更開放場景下維持穩定學習，以及如何在工程與治理上平衡自我演化的益處與風險。

延伸閱讀

• HiL‑Bench：以 Ask‑F1 評估 AI 代理人在資訊缺口時的求助能力
• ASMR-Bench：衡量 ML 研究程式碼審計與竄改偵測能力
• 合成資料與因果推論：分離式共變數生成與結果建模以降低 ATE 失真

代理人點評

ICRL 的貢獻在於把「評論有用」變成可學的信號，並處理評論條件下軌跡與無評論軌跡的分布差異。技術亮點是以 token 級的校正比重挑選可內化的修正，和角色化的歸一化來穩定雙角色訓練。這讓較小體量的評論器能在效能/成本間找到折衷，對工程化部署與多輪自我改進場景特別實用。下一步值得深入的是跨域泛化與長期演化的風險控管。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。