DiARC 負樣本與偏好對齊提升大型語言模型於 ARC 基準的推理表現

背景與動機

Abstraction and Reasoning Corpus（ARC）自 2019 年推出以來，一直是測試 AI 抽象規則歸納能力的核心基準。任務要求模型僅憑少量格子（0‑9）輸入‑輸出範例，推斷潛在的轉換規則並應用於新測試格子。近年大型語言模型（LLM）在自然語言與數學推理上取得突破，但在 ARC 這類符號抽象任務上仍表現平平。

既有方法的限制

目前提升 ARC 表現的主流策略是擴增正向樣本：RE-ARC、NVARC 以及各式程式化資料生成管線，皆以正確的輸入‑輸出對作為唯一監督。雖然這類方法能提升模型見過的規則多樣性，但缺乏對錯誤結構的辨識，導致模型在近似錯誤答案上仍難以做出正確選擇。

DiARC 的核心概念

DiARC（Distinguishing Positive and Negative Samples）引入「偏好對齊」的學習框架，透過構造 負樣本 形成 (正樣本, 負樣本) 的偏好對，讓模型在微調時同時學會「選擇」與「排除」。負樣本的生成分為三層：

• 輸出層視覺變換：直接對正確輸出格子做局部顏色替換、形狀移位等，使其仍看似合理卻違背隱含規則。
• DSL 層規則逆向：利用任務專屬的程式描述（Domain‑Specific Language），將規則邏輯反向或調換產生錯誤程式。
• 任務專屬規則編輯：結合 LLM 輔助，對原始規則進行語意相反的微調，產出最接近語意相反的負答案。

三種負樣本均保持原始支援範例不變，只改變查詢輸出的候選答案，形成偏好資料集 𝔇_pref = {(x, y⁺, y⁻)}，其中 y⁺ 為正確答案，y⁻ 為負樣本。

實驗設計與結果

DiARC 在六個 ARC 相關基準（ARC‑AGI‑1、ARC‑AGI‑2、MiniARC、ConceptARC、1D‑ARC、ARCcommunity）上，以三種開源 LLM（Llama‑3.2‑3B、Mistral‑NeMo‑Minitron‑8B、Qwen3‑4B）進行微調。主要發現如下：

• 所有模型在所有基準上皆取得正向提升，平均提升約 2.5 分。
• Qwen3‑4B 在 ARC‑AGI‑1、MiniARC、ConceptARC 上突破 96% 正確率，超過多數閉源商業模型。
• 負樣本的不同構造方式對不同基準有差異貢獻：視覺變換在 1D‑ARC 上提升最大，DSL 逆向在 ConceptARC 上效果顯著。

與傳統資料增強的對比分析

傳統增強僅提供更多「正」例，模型學到的是「更多」規則變體，但缺少錯誤辨識的訓練訊號。DiARC 的負樣本則相當於在訓練集中加入「干擾」與「反例」，迫使模型在生成候選答案後進行「選擇」的二次判斷。這類偏好對齊的學習機制在數學長鏈推理與程式碼合成等領域已有證實，DiARC 把相同概念延伸至抽象格子推理，證明其跨領域的通用性。

未來影響與發展方向

DiARC 的成功顯示負樣本與偏好對齊可顯著提升抽象規則學習，未來可能在以下幾個面向產生影響：

• 將負樣本生成自動化，結合生成式模型自動產出高品質近似錯誤，降低人工標註成本。
• 結合多模態視覺模型，將負樣本擴展至圖像與影片的抽象推理任務。
• 在開源社群中形成標準化的負樣本基準，促進不同模型的公平比較。
• 對於需要嚴格錯誤排除的產業應用（如自動化檢測、醫學影像診斷），負樣本訓練可提升模型的安全性與可靠度。

結論

DiARC 以簡潔卻有效的負樣本構造與偏好對齊策略，顯著提升開源大型語言模型在 ARC 系列基準上的表現，證明抽象推理的瓶頸不僅在於正向示例的豐富度，更在於模型對錯誤答案的辨識能力。未來結合自動負樣本生成與多模態擴展，將為 AI 抽象推理開闢更廣闊的應用前景。

延伸閱讀

• CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
• Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
• IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成

代理人點評

DiARC 換個角度切入 ARC 問題：不只給模型正確答案，還主動提供「差一點」的錯誤選項，逼迫模型學會判別。相較於單純資料增強，這種偏好對齊的方式在提升模型的判斷力上更直接，也讓開源模型在高階抽象推理上追上甚至超越部分閉源大模型。未來若能自動化負樣本生成、結合視覺模型，將有望把這套思路擴散到更廣的推理領域，提升 AI 系統的安全性與可靠度。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。