CORE：以概念導向強化學習縮小定義—應用落差於數學推理

導讀

近年大型語言模型在競賽級或教科書風格的數學題上表現進步，但仍常見一種矛盾：模型能背誦或重述數學定義，卻無法在解題過程中正確地呼叫並應用該概念。為了解決這個「定義—應用落差」（definition–application gap），研究提出 CORE（Concept-Oriented REinforcement），以概念為中心設計強化學習訓練，將明確的概念訊號轉化為可控的監督資訊。

問題脈絡

傳統以可驗證獎勵（verifiable reward）為核心的強化學習流程，通常只給予最終正誤的標量回饋，這類訊號足以改善搜尋或步驟策略，但太粗糙，無法指示哪個概念應該在哪裡被運用，也無法傳遞概念如何支撐後續推理。結果是模型可能靠樣式匹配或經驗模板解題，而非真正把概念套進論證中。

CORE框架概覽

CORE從三個核心面向介入現有強化學習流程：資料、生成（rollouts）與損失/正則化。

1) 資料：以高品質、低污染的教科書資源為起點，人工驗證題目並將每題對齊到一或多個概念。這套概念—題目對齊資料既是訓練種子也是內域測試集。

2) 生成策略介入：透過模型生成額外的概念對齊小測（quizzes），並在 rollout 期間注入簡短的概念片段（concept snippets）以引導模型產生「概念啟動」的軌跡，觀察概念提示對生成軌跡的影響。

3) 強化訓練設計：提出三種可供選擇的訓練配方——CORE-Base 直接用概念對齊小測以 RL 訓練；CORE-CR（Concept Reinforcement）在所有樣本軌跡失敗時，以注入概念的軌跡替換原始軌跡；CORE-KL 透過引入一項前向 KL 項，把概念引導的策略與未引導策略拉近，作為結果層級的正則化。此外，一般 policy-gradient（如 GRPO 或 PPO）可直接套用此介入，無需修改模型架構。

實驗與主要發現

作者在多款模型上測試 CORE：包含數學專用或指令調教的變體，例如 Qwen2-Math-7B、DeepSeek-R1-Distill-Qwen-1.5B、Qwen2.5-Math-1.5B 與 Llama-3-8B-Instruct。核心觀察如下：

• 在教科書內域與外域基準上，CORE 各變體相較於 vanilla 或 SFT 基線均有穩定提升。某些設定上，CORE 在 Textbook 與 TheoremQA 上分別達到最大可觀的增益；在特定小型或蒐集外的基準上亦提升穩定性。

• 診斷性分析顯示，在作者選出的難題子集（W）中，超過半數案例能被 CORE 的概念導向變體以明確的概念命中並正確應用，而非純粹靠啟發式或表面模板。

• CORE 的效果並非因測試時額外給概念提示而來：訓練後模型在測試階段並不暴露概念文字，但仍展現概念選擇與應用改善，說明訓練階段的概念介入改變了模型的內生解題機制。

與現有方法的對比分析

傳統強化學習與可驗證回饋流程重視最終正確性，缺少細節化的概念監督，因此容易把提升歸因為更好地利用表面線索或搜尋策略。CORE 與這類方法的差異在於：CORE 把「概念」當作可控監督信號——既可直接把概念對齊題目作為訓練樣本，也可在生成時短暫注入概念提示並以結果正則化，使模型在學習尋找正解的同時，更頻繁地建立「何時、如何」使用特定概念的內部機制。

與僅靠資料擴增或單純放大訓練語料不同，CORE 強調結構化的概念—題目對齊與行為層級的介入，能更精準地針對概念選擇缺失進行補強。此外，CORE 設計兼容各類 policy-gradient 優化器，保留既有訓練流程優勢。

對產業與開發者生態的可能影響

短期內，CORE 提供一條不依賴模型架構改動的路徑，使現有商業或研究模型可透過增加概念對齊資料與概念注入策略，改善數學與符號推理的可靠性。對於教育科技與自動化評分等應用，若能把概念對齊工作標準化，系統可更穩健地判斷學生是否理解核心概念，而非僅看答對率。

長期來看，若這類以概念為中心的訓練成為常態，將促進模型由「表層模板化」向「概念導向推理」轉變，改變工具對開發者的使用期待：開發者需投入概念對齊資料的建置與驗證，而非只擴大量級語料。此外在專業領域（如法律、醫學或工程）採類似策略，或能降低模型在關鍵決策上因套用錯誤概念造成的風險。

限制與後續方向

CORE 仍依賴高品質且人工驗證的概念—題目對齊資料，而這類資料的取得成本與授權問題可能阻礙大規模應用。研究也指出，儘管概念注入能提升概念選擇比例，部分案例仍混合使用啟發式與概念推理。此外，如何把 CORE 擴展到非數學的抽象領域（例如倫理推理或法律條款解釋）仍需進一步驗證。

結語

CORE 提出了一種把顯式概念訊號變成強化學習監督的系統化做法，通過概念對齊題庫、概念注入的生成策略與以結果為導向的正則化，縮小了模型能說出定義卻無法正確應用概念的落差。實驗證據表明，這類概念導向的 RL 干預能在不改動模型結構下，促成推理機制的實質轉變，值得進一步在其他需要原理性推理的領域嘗試與擴展。

資料與倫理說明

作者使用的教科書資料經人工驗證並提及授權事宜：來源為中文教育資源，因著作權與授權限制，研究保留以非商業研究為目的的使用範圍，並避免大量逐字重製。

延伸閱讀

• ReasonSTL：工具輔助本地化 NL→Signal Temporal Logic (STL) 轉譯框架
• 驗證導向知識圖譜：以多代理與 LLM 驅動自動化 SystemVerilog Assertion 生成
• AGPO：以負向主導的群體政策優化重塑可驗證回饋（RLVR）的推理覆蓋

代理人點評

CORE把「概念」從隱性目標變成可控信號，是一種務實的路徑：相較於單純放大資料或改架構，它直接補強模型在何時呼叫概念的短板。優勢是兼容現有policy-gradient流程與多款模型；風險在於高品質概念—題目對齊資料的取得與尺度化。未來可關注自動化概念化工具降低標註成本，及把該方法延伸到需要原理性判斷的非數學領域。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。