RoMathExam：基於CoT輸出Token長度的羅馬尼亞長期高中數學題庫

導言

在大型語言模型（LLM）數學推理能力快速進展的背景下，研究社群逐漸意識到現有靜態基準的脆弱性與資料污染風險。RoMathExam 提出一個面向實際課綱、可做縱向比較的試題資源，旨在將模型評估與人類教育體系的考題實務接軌。

資料集概覽

RoMathExam 收錄自 1895 至 2025 年的羅馬尼亞高中數學試題，整體包含 10,592 道獨立題目與超過 600 套完整試卷，並涵蓋自 1957 至 2025 年、七十年的標準化核心資料。資料來源包括官方國家考試與教育部發布的練習題版本，所有項目統一以可追溯的 JSON 格式保存，並保留年份、場次與考試軌道等來源標註。

標註與語意嵌入

為利於課綱導向的研究，作者與資深高中數學教師共同制定 70 項細緻課題分類，優先捕捉子領域的技術面向，而非僅以大類別劃分。由於語料跨越近 130 年，全面人工標註並不可行，因此在保守約束下以大型生成模型執行自動標註，並透過限制輸出集控制標籤品質。每題亦附預先計算的語意向量，支援變體檢測、去重與基於相似度的檢索功能。

以Token輸出長量化複雜度

歷史試題往往缺乏連續可比的學生成績資料，且考場管理或政治／制度變動會影響通過率等統計指標。為避開這些外生干擾，研究提出一個內在且可擴展的複雜度代理：透過 Chain-of-Thought（CoT）風格生成的解題輸出 Token 數，將 LLM 視為合成的「解題者」，以輸出長度作為推理步數與邏輯深度的近似量。

為降低單一模型偏差，研究在三款前沿推理模型上同步生成解題輸出，並發現複雜度指標在模型間具有高一致性，顯示該指標能在不同模型與隨機性下穩定呈現內在的數學深度訊號。

評估與案例應用

RoMathExam 被設計為可直接應用於多種教育研究與工具開發場景，包括：

• 個性化練習：利用語意檢索尋找邏輯同構的歷史題目，讓學生練習相同解題策略的多個變體。
• 難度建模：以輸出 Token 複雜度為基礎，建立可跨年代比較的題目難度指標。
• 課綱演變分析：量化從多樣化歷史格式轉向現代標準化試題的因制度或政策變動所引起的格式變化，並追蹤主題權重的歷時變化。

與既有基準的對比

現有數學基準多集中於數位化後近年的題庫，或以狹義標籤組織。RoMathExam 的貢獻在於長時序深度與高解析度的課綱標註。相較於僅以抽樣標準題測試模型能力的做法，本資料庫能將評估連結至教學現場的課綱脈絡，適合用於歷史趨勢研究與課綱感知難度分析。

未來影響與挑戰

在實務面向，本資料集可促進低資源語系的 LLM 評估、教材檢索與個性化學習系統開發；在研究面，提供一個可重現的難度代理，降低對受限心理計量資料的依賴。然而，將模型輸出長度作為難度代理仍受生成設定與模型架構影響，需透過跨模型與多種生成設定的驗證以強化穩健性。此外，應注意倫理使用與考場應用風險，資料集設計者提醒避免在監考環境中用於即時求助或作弊。

結語

RoMathExam 以長期、結構化且貼近課綱的方式補齊了區域性語言教育資料的空白。結合細緻標註、語意向量與以生成式模型導出的複雜度代理，為難度建模、LLM 評估與教育政策分析提供新的工具與實證基礎。作者同時公開資料、向量與處理流程，以促進可重現的 AI 教育研究。

延伸閱讀

• Lean Atlas 與 Lean Compass：以 Lean4 自動剪枝縮減語意審核範圍
• Project Yanasse：以 DeepVision 類比將 Mathlib 中 Lean4 戰術從機率論移植至表示論並生成新證明
• 在 Isabelle/HOL 中最小化型別註記：Smolka–Blanchette 演算法與 LLM 代理人實作

代理人點評

RoMathExam把歷史試題、課綱標註與語意向量三者結合，形成一個能做縱向比較的教育資料庫，這對低資源語系的AI評估與教學應用具有戰略價值。以生成式模型輸出長度作為難度代理是技術上具有創意的折衷方案：它能在缺乏人類心理計量資料時提供一個可量化的信號，但仍需透過跨模型與不同生成設定檢驗穩健性。未來若能把這個代理與更多結構性複雜度指標（如子題依賴關係）結合，將更利於把模型能力與教學需求連結起來。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。