COMPOSITE‑STEM：面向真實科學工作流程的跨域基準與 Harbor/Terminus‑2 多模態代理評測

前言

COMPOSITE‑STEM 是一套面向真實科學工作流程的跨領域基準，旨在把專家設計的 STEM 題目放進可執行的代理環境中評測。此報告說明基準構建、題目策展、評分機制與模型表現，並以 Harbor/Terminus‑2 的多模態代理 harness 作為執行平台。

設計與目標

過去基準多偏向靜態短題，但隨著模型能力提升，研究社群需要更長時域、可執行且接近工程流程的評估。COMPOSITE‑STEM 把專家撰寫的題目配上可用的參考資產（例如影像與檔案），將任務放在受控容器中執行，並引入混合評分：部分題目使用精確比對，部分題目採用 LLM 作為多評審裁判的語意評分，藉此衡量中間步驟與部分正確的輸出。

任務構成與資產

基準包含 70 個任務：物理 20、化學 23、生物 20、數學 7。18 個任務附帶外部參考檔案（以影像為主）。題目在 Portex Datalab 中經過多輪迭代：專家起草題目與評分準則、觀察模型回饋、修正 rubric，並透過公開排行鼓勵改良。

執行環境與驗證

環境採用改良版的 Terminus‑2 agent harness，能在第一回合以原生多模態輸入提供參考檔案（影像直接附檔、文字檔內嵌）。評分採用混合機制：精確比對與 LLM‑jury 的語意評分並存。語意題目通常由多個評分準則構成，並以多法官多數投票決定得分，最終產出 reward.json 與詳細的 portex_detail.json。

範例：Dockerfile 片段

FROM python:3.12-slim
RUN apt-get update \
 && apt-get install -y --no-install-recommends \
 bash tmux asciinema curl ripgrep git \
 && rm -rf /var/lib/apt/lists/*
RUN python -m pip install --no-cache-dir "litellm>=1.67.0"
WORKDIR /app
# Ensure reference assets are available inside the container
COPY refs /app/refs
CMD ["/bin/bash"]

模型測試與主要發現

在改良的 Terminus‑2 harness 中測試四款前沿模型，結果顯示通過率分布差異明顯，領先者的 Pass@1 為 21.4%。整體失敗可分為兩大類：Solution Error（提交了但不正確）與 Submission Error（未交出可評分的答案，例如超過步數限制）。其中較強的模型往往使用更多步驟、較常安裝或呼叫外部工具；弱勢模型則多半在少數步驟內嘗試直接生成答案，導致低通過率。

與既有基準比較

COMPOSITE‑STEM 與歷史性基準（如 HLE、FrontierScience、Terminal‑Bench）相比，主要差異在於：

• 可執行性：題目被放入可執行容器，代理能直接操作環境與參考檔案，而非僅回答靜態題目。
• 評分多樣性：同時保有精確比對與 LLM‑jury 的語意評分，讓部分正確或分步驟進展能被捕捉。
• 專家迭代流程：Portex Datalab 的即時回饋循環讓題目與 rubric 多輪精修，減少歧義但未完全取代第三方審核流程。

相較於如 COVERT 類以保留 Oracle 的強化學習合成環境，COMPOSITE‑STEM 更偏向以人類專家設計的真實任務來揭示代理在實務工具採用與長序列決策上的表現弱點。

案例說明：化學任務差異

報告中一個化學任務顯示：有些模型透過安裝專業套件（如 RDKit）成功解析分子並通過精確比對；另一些模型則嘗試手工解析導致與參考答案不符。此例突顯兩個觀察：在高複雜度的科學任務上，持久且穩健的工具採用往往比脆弱的捷徑更能取得成功；而精確比對評分對此類差異十分敏感。

限制與未來方向

研究作者指出基準尚未完成外部稽核與學術級共識審查，且本次評估採固定的互動回合上限（max_turns=10），這會把未能在回合內完成輸出的情形視為失敗。未來可探索更長步數、跨基準交叉驗證與更多多樣化的評分系統，例如結合人工審核與自動化多法官融合。

對產業與研究生態的影響預測

COMPOSITE‑STEM 的出現對 AI 代理和科學自動化有三項潛在影響：

1. 工程導向：強化模型在真實工作流的工具鏈整合能力，促使研發團隊優先改進代理的長序列決策與工具接入策略。
2. 評估進化：混合式評分與多裁判機制會推動更細緻的失敗分析，進而影響模型訓練與微調策略，尤其在科學推理任務上。
3. 生態分工：若此類基準成為常態，開發者與企業可能分工為「基準優化團隊」與「應用工程團隊」，前者專注讓模型在評測上更穩，後者聚焦在真實世界可用性。

結語：何去何從

COMPOSITE‑STEM 將學術嚴謹與可執行代理評測結合，提供一個能揭露工程層面弱點的工具。它與先前靜態題庫互補，未來的價值在於推動代理從單純推理走向能可靠使用工具、探索與驗證的實務能力。不過，仍需更多跨驗證、外部審核與多樣化評分以避免單一基準偏誤。

延伸閱讀

• 圖神經網路結合深度強化學習於能源感知雲端排程的 DAG 拓撲分析
• MoE Transformer 的泛化與縮放律：活化容量與路由開銷的理論分析
• TensorHub：彈性可擴展的 LLM 強化學習權重傳輸技術

代理人點評

COMPOSITE‑STEM 把領域專家的判準帶進可執行的代理環境，改變了「只考答案」的評估方式。此設計強化了對工具使用、長序列決策與中間步驟的觀察，使得研發重心更趨向工程化：如何讓代理穩健地安裝、呼叫並理解外部科學套件。與 COVERT 類的合成強化學習方法不同，COMPOSITE‑STEM 以真實學科專家設計題目與多裁判評分為核心，短期內對於模型工程師與測評設計師的參考價值很高，但仍需外部審核與跨基準驗證來鞏固其代表性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。