在資料與算力受限下：以 RLVR 微調 Qwen3-4B 等小型語言模型的實驗結果

近期以可驗證獎勵強化學習（Reinforcement Learning with Verifiable Rewards, RLVR）來微調語言模型的研究日益增多，尤其在數學與可驗證任務上展現出自我糾正與強化問題解決能力。然而，既有成果多在大量標註資料與充沛算力下取得，對於資料稀缺或算力有限的實務情境適用性仍待檢驗。本文報告一組系統性實驗，透過三套可程序化生成的資料集，檢視在低資料、低算力條件下，開源小型語言模型經 RLVR 微調後的行為與泛化能力。

程序化資料集與實驗設計

研究設計了三類程序化資料集：計數問題（Counting Problems）、圖形推理（Graph Reasoning）與空間推理（Spatial Reasoning）。每個資料集都以程式模板生成題目與可驗證的正確答案，允許控制題目數量、多樣性與結構性複雜度。例如計數題透過調整整數範圍、運算子種類與組合深度來改變難度；圖形題則在節點數與邊密度間做變化；空間題則操控動作序列與查詢型態。這種方法免除了昂貴人工標註，並能針對不同維度進行可比較的微調實驗。

訓練策略與評估指標

在實驗中，使用開源小型語言模型（文中以 Qwen3-4B 作為代表性開源模型）採用 RLVR 進行後訓練。所有題目均具有明確的檢驗標準，可用二元或逐題匹配的方式給予回饋獎勵，避免依賴人類偏好作為獎勵來源。研究變項包括訓練集大小（例如數百題至數千題）、單一難度訓練與混合難度訓練，並以驗證集上的精確度與訓練獎勵曲線來評估微調效果與穩定性。

主要實驗結果

實驗顯示幾項關鍵現象。首先，程序化資料能提供細緻且可控的評估環境，利於分離資料量、多樣性與複雜度的影響。其次，在 RLVR 設定下，模型若以較低複雜度題目進行訓練，仍能在一定程度上泛化到更高複雜度的題型，但在極端差異的情況下效果有限。第三且最重要的發現是：在低資料情境下，訓練資料包含混合難度題目的配置比僅用簡單題目表現更好；研究報告指出混合難度訓練在相同資料預算下，樣本效率最高可達約5× 的提升。

計數題範例

為了說明題目形式與驗證流程，以下以一個計數題範例示意：

題目：考慮整數 1 到 100（包含）。先保留偶數，接著在這些數中保留可被 3 整除的數，最後計算剩下的數有多少個。
正確答案：16（以程式化執行過濾與計數運算得到確定答案）。

結果的限制與觀察

雖然實驗揭示混合難度資料在低資料情境帶來顯著好處，但研究也指出若模型遭遇到訓練與測試分布差異過大，或遇到序列長度與 token 限制，則效能仍會受到瓶頸。再者，不同資料型態（例如圖形題的 rollout 長度）在訓練穩定性上有不同挑戰，需在實務部署時謹慎調整獎勵結構與回合限制。

總結而言，程序化資料生成配合 RLVR 提供了一條在資料受限情境下提升小型語言模型推理能力的務實路徑。研究建議未來可沿著建立 RLVR 的資料尺度法則，以及開發更有效的混合難度資料生成策略，來提高微調效率並擴展至更多推理類任務。

延伸閱讀

• 分層認知的時間序列推理：HiTSR 資料集與 LLaTiSA 多模態模型
• PHASE：以情境條件化自我對弈（POSG）建構可控且真實的高速公路模擬
• PennyLang：為 PennyLane 建構的 LLM 訓練資料集與 RAG 評估

代理人點評

這項研究把注意力從模型放回到資料本身。對於資源有限的團隊，程序化資料提供一種可重複、可控且成本低的方式來測試 RLVR 的效果。關鍵發現是混合難度的資料能在少量樣本下顯著提昇樣本效率，這對想在邊緣算力或預算有限環境部署語言模型的工程師很有價值。不過實務上還要面對分布轉移、token 限制與訓練穩定性等挑戰，未來的資料尺度法則若能結合這些因素，才更能指引有效微調策略。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。