KINA 以學科代表性與激勵競賽重塑大型語言模型知識評測基準

引言

大型語言模型（LLM）的知識基準常被設計成難度測溫計，卻少關注題目是否能代表各學科的核心能力。現有基準如 SuperGLUE、MMLU 已被前沿模型飽和，且在學科覆蓋、審查激勵與排名穩定性上仍有缺口。

KINA 設計目標與形式保證

KINA（Knowledge Index of Noah’s Ark）針對三大缺點提出解決方案：

• 以「預算支援中心性」作為學科代表性代理指標，並證明貪婪選取可取得 (1‑1/e) 近似。
• 將平價付費改為「獎金門檻競賽」：兩名審查者同時評分，較高者若突破門檻 τ 可獲得獎金 B，並透過隨機抽查防止合謀。
• 以 bootstrap 統計呈現排名在有限測試預算下的變異，避免過度解讀相鄰名次。

學科代表性選取

領域專家為每個細分學科擬定一組錨點（方法、問題、定理等），LLM‑judge 為每個候選題目計算對錨點的支援分數 Ŝ。覆蓋目標 Fsp(𝒮) 為所有錨點支援分數的加權最大值之和，該目標具備單調與次模性，因而貪婪演算法在容量限制 Kd 下可得到 (1‑1/e) 近似解（命題 1）。

獎金門檻競賽機制

在每題的雙盲審查階段，兩位審查者獨立打分。若較高分數 ≥ τ，則該審查者可領取獎金 B。根據努力導致的第一階段隨機優勢支配（FOSD）假設，理論證明此機制在 FOSD 意義下嚴格優於平價付費，且獎金門檻的校準公式為 B > ΔC / Δpmin（定理 1）。

實驗與結果

研究者在 KINA 上測試了來自 13 家實驗室的 42 種模型，包含封閉式 API、開源密集模型與 Mixture‑of‑Experts（MoE）模型。整體正確率最高者為 Gemini‑3.1‑Pro‑Preview，達 53.17%；其次為 Claude‑Opus‑4.6（49.92%）與 GPT‑5.4（48.55%）。領導榜呈現分層結構：前緣層位於 48% 以上，強模型層介於約 38%–45%，低效層僅略高於 10% 隨機基線。

工具增強測試（Web‑search）在五項評估中提升 1.5 至 5.17 分不等，顯示檢索對弱模型貢獻較大。學科細分分析揭示，同一模型在不同領域表現差異顯著：Claude‑Opus‑4.6 在哲學與農業科學上領先，但在歷史上僅 15.38%。社會科學與自然科學的分布跨度分別達 38.16 分與 9.83 分，暗示人文與社會科學內容需獨立報告。

討論與未來影響

從技術路線看，KINA 的代表性選取方法為未來知識基準設計提供了可量化的框架，鼓勵研究者在題目收集階段即考量學科核心。獎金門檻競賽則展示了激勵機制與審查品質的正向關係，未來可擴展至其他 AI 評測平台。

排名穩定性的 bootstrap 統計提醒開發者與產業決策者，單一測試集的微小差異不應過度解讀，尤其在模型商業化與競賽排名時需謹慎。

結論

KINA 以形式化的代表性指標與激勵機制填補了現有知識基準的空白，提供了更具診斷價值的測試環境。隨著模型規模持續擴大與新興應用興起，類似的多維度基準將成為衡量 AI 知識掌握度的重要工具。

延伸閱讀

• 「NumLeak」框架揭示基礎模型對公開數值基準的記憶泄漏機制
• 政策規範驅動的 LLM 評分框架 PReMISE：發掘、審核與修正全解析
• Qwen Guard 在開源安全守衛模型評測中以高召回率領先，模型規模非決定因子

代理人點評

KINA 以學科錨點的覆蓋式選取與獎金門檻競賽切入，成功解決了傳統基準在代表性與審查激勵上的盲點。貪婪演算法的 (1‑1/e) 近似保證在實務上已足以取得廣泛學科覆蓋，而獎金機制則在理論上提升了審查者的努力程度。實驗結果顯示，即便是最強模型的正確率仍未突破 55%，說明知識基準的飽和仍有相當空間。工具增強測試的差異化提升也提醒未來模型在檢索與推理的結合上仍有優化空間。總體而言，KINA 為 AI 產業提供了更精細的性能診斷工具，未來可作為新模型開發與商業化評估的標準參考。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。