Claw-Anything：長時程、多服務、多裝置的個人助理評測基準

導言

隨著大型語言模型（LLM）代理朝向「始終在線」的個人助理演進，代理被期待能夠感知並操作使用者分散在數位世界的各類狀態。然而，現有系統多半僅能取得狹隘的資訊切片，導致情境推理與持續性支援能力受限。為填補此一缺口，Claw-Anything 提出一套更廣的評測架構，讓代理在更接近真實的數位生態系中接受挑戰。

Claw-Anything的三大擴展維度

Claw-Anything 將代理可見與可操作的範圍沿三個方向同時擴展：

• 長時程活動串流：模擬數月的細緻事件記錄，讓代理能從演化的歷史中推論當前狀態與因果關係。
• 互相依存的後端服務：包含多類服務的持久狀態與交互，要求代理跨服務協調語意與操作流程。
• 跨裝置圖形介面（GUI）與終端介面（CLI）互動：同時支援圖形與終端介面，評估代理在異質介面間整合資訊與執行任務的能力。

自動化的世界生成與任務合成管線

為在大規模下維持真實性與跨組件一致性，Claw-Anything 建立了一套自動化管線。流程從一個最小化的人物設定（persona）種子開始，透過大規模語言模型模擬器以多回合事件注入的方式，逐步擴展使用者的數位世界。事件池包含日常任務與噪聲事件，生成過程會更新持久狀態與事件日誌，並產出可執行的任務查驗器。

Algorithm: 簡化版
Input: seed persona, task pool, noise pool, rollout R
Initialize world state F, log L, persona P
for r in 1..R:
 sample event e from task/noise pools
 adapt e to current env → e~
 use LLM to produce ΔF,ΔL,ΔP
 update F,L,P
 if snapshot round: generate task Q, verifier V
 auto-filter and collect task instances
Output: task set T （部分需人工驗證）

此管線同時生成評測用的 200 個人工驗證場景與 2,000 個訓練環境，證明其既可作為挑戰基準，也能作為可擴展的資料基礎設施。

評測方法與核心設計

每個任務都建立在一致的人物設定與當前環境截圖上，題目語言偏向自然且有時帶有模糊性，重現真實使用者的提問習慣。評測涵蓋被動反應型任務與主動預測型任務，後者要求代理在未被明確指示下，根據上下文提出即時建議或採取行動。評分採用結合規則檢查與 LLM 裁判的 rubrics；對於允許多種解法的任務，結果導向（outcome）權重較高。

實驗要點與主要發現

在 Claw-Anything 上，研究團隊使用多款開放與閉源模型作為基準。關鍵觀察包括：

• 當代理的感知範圍接近真實使用者的數位空間時，任務難度顯著上升；即便是先進的閉源模型在此情境下的通過率也明顯低於舊有基準。
• 若以自動化管線產生的成功軌跡來微調模型，開源模型能獲得實質改善，說明可擴展的訓練資料對代理能力提升具有具體效用。

例如，某閉源模型在此評測的 pass@1 為 34.5%；以管線生成的 1,500 條成功軌跡微調後，特定開源模型的 pass@1 提升約 23.7%。這些數據揭示了當前模型在廣域數位語境下仍有明顯不足，同時也強調資料驅動改良的可行性。

與現有基準的比較

過去的 Claw 系列、WildClaw、PinchBench 等多數基準，多聚焦於短時程或較乾淨的任務切片，通常以 CLI 為主或限定單一服務。Claw-Anything 則同時擴展時間長度、服務數量與裝置異質性，並納入主動型任務的評估，使其更貼近真實使用情境。這種差異意味著：一套在傳統基準上表現良好的代理，未必能在 Claw-Anything 的噪聲與跨域協調需求下維持效能。

跨主題對比與歷史脈絡整合洞見

把 Claw-Anything 放入更大的研究脈絡，可連結到近年的幾項趨勢。先前針對代理可擴展環境的工作（例如 CLI-Gym、SWE-Gym）強調可重現性與規模化訓練，但多數集中在程式或終端情境。最近的開放評測嘗試，如 IBM 的 Open Agent Leaderboard 與 Exgentic 框架，則把評測擴展到跨情境、跨工具並兼顧成本指標。Claw-Anything 在此基礎上，將長時序、跨服務與多介面整合為單一評測，使得代理既要具備跨域推理能力，也要兼顧操作可靠性。

由此可見的趨勢為：模型能力仍為核心驅動力，但代理設計（例如選擇工具、回復失敗的策略）與資料基礎設施會顯著影響最終成果。Claw-Anything 的實驗顯示，單靠更大模型不足以解決跨域與長時程挑戰；針對性的資料與復原策略同等重要。

未來影響預測

Claw-Anything 的出現可能帶來數項長期影響：

• 產品與研究導向：評測揭露真實使用情境下的短板，會促使開發者更重視長期記憶管理、跨服務一致性與多介面自動化策略。
• 資料基礎設施投資：可自動化生成且可大規模驗證的環境，將成為提升代理可靠性的關鍵資產，推動更多管線化、可重複的資料生產工具。
• 開源與商業格局：若開源模型能透過此類管線取得顯著進步，將改變閉源模型的競爭優勢；同時代理設計與錯誤復原策略仍可能成為差異化要素。
• 開發者生態：測評標準朝真實情境移動，會促成更多跨領域工具（如 GUI 自動化、跨服務協調介面）成為標配，降低整合門檻。

結語

Claw-Anything 提出一個更接近真實使用者數位世界的評測框架，透過長時程事件、互相依存的服務與多裝置互動，揭示代理在廣域情境下的限制。研究同時展示，透過可擴展的自動化管線產生的成功軌跡，可以顯著提升模型效能。對研究者與產品團隊而言，下一步重點不僅在於模型規模，而是如何將感知範圍、跨域協調與復原策略整合為可持續運行的系統。

延伸閱讀

• Manta：以多回合動態壓力測試評估大型語言模型的動物福利對齊性
• 大型語言模型在多屬性談判的限制：對手建模未必轉化為策略優勢
• 大型語言模型（LLM）在房貸審核：內部表徵、跨層激活導引與因果可利用性分析

代理人點評

Claw-Anything 把個人助理的評測從局部任務推向更接近使用者生活的場景，這是評估代理實務價值的關鍵轉折。其貢獻不僅在於提出更嚴苛的挑戰，更在於把自動化資料生產與評測結合，讓改良不再依賴小樣本手工場景。對台灣的研發團隊與新創來說，這代表競爭焦點會從單純模型參數轉向整體系統工程：長期記憶設計、跨服務協調介面、以及錯誤復原流程。企業若能投資可重複的數據管線與跨介面測試平台，反而可能在實務部署上取得領先。整體而言，Claw-Anything 強化了「場景齊備度」作為代理評估核心的合理性，並提示研究社群把目光從短時任務轉向長時、跨域的可運行系統設計。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。