工作記憶忠實度（WMF-AM）：衡量 LLM 代理人累積狀態追蹤能力

導讀

當前多數評測以任務完成率（completion）作為代理人能力的代理指標，但此類度量可能忽略模型在處理多步程序時的內部過程品質。為補足這項盲點，研究團隊提出工作記憶忠實度—主動操作（WMF-AM），作為一種針對「累積狀態追蹤」的過程敏感探針。

方法概述：什麼是 WMF-AM？

WMF-AM 設計靈感來自認知科學的工作記憶 span 範式。實驗給予模型一個初始數值狀態，接著連續提供 K 個加減操作，模型需回報最後的累積值。關鍵特性包括：

• K 校準（K-calibration）：選擇深度（例如 K=3、5、7）以將探針維持在可區辨的難度範圍。
• 無草稿（no-scratchpad）：測試在不額外記錄或外部計算輔助下的狀態維持能力。
• 建構隔離（construct-isolation）：包含單步（K=1）對照、非算術上限（non-arithmetic ceiling）以及繫結反轉（yoked cancellation）等控制，排除單純算術或被動實體追蹤的替代理解。

實驗設計與主要發現

研究在 20 款開放權重模型（規模範圍 0.5B–35B、13 個家族）上執行 WMF-AM，並以一組十項確定性代理人任務作為下游評估基準（Agent Battery）。在預先指定且 Bonferroni 校正的分析中，WMF-AM 對代理人下游表現呈現顯著預測力（Kendall’s τ = 0.612，p < 0.001）。探索性部分的 τ 分析指出，此訊號在控制完成率與模型規模後仍具顯著性，顯示 WMF-AM 捕捉到與完成率不同、能解釋下游表現差異的過程性能力。

建構隔離與失效模式

三項針對性消融實驗支持主要解釋：累積負載下的狀態維持是主要瓶頸，而非單步算術或單純的實體追蹤。具體觀察包括：大多數模型在 K=1 時接近上限的表現，但在 K=7 時整體平均正確率顯著下降，顯示序列長度的累積負載造成性能衰減。

與既有方案的比較

WMF-AM 與 AgentBench、MMLU 等既有基準的差異在於焦點不同：傳統基準評估最終輸出正確性，屬結果導向；WMF-AM 則測量過程質量，特別是「在負載下持續轉換並維持中介狀態」的能力。K 校準讓 WMF-AM 保持在可區辨的範圍，並以建構隔離控制來排除替代說明。

測量穩健性與限制

作者報告 WMF-AM 在不同 prompt wrapper、隨機種子與表述方式下具有排名穩定性，但也強調泛化到封閉或閉源的 API 模型與更廣泛情境的有效性仍待驗證。此外，評量設計假設行為指標能反映過程性能力，但這並不等同於模型內部擁有與人類相同的工作記憶機制。

結合歷史脈絡的深度洞察

將 WMF-AM 的結論置於更寬的研究背景來看：先前針對遞迴循環與上下文更新規則的實驗顯示，模型對外部注入與上下文更新方式相當敏感（例如 append 模式在某些情境下目標一致性較低），這與 WMF-AM 強調的「在延續歷史時維持目標一致性」的能力有概念交叉。換言之，若模型在長序列或被動注入情境下容易偏離原始狀態，將直接影響多步代理人任務中對中介狀態的追蹤，進一步說明完成率不足以完整反映可靠的多步行為。

對產業與研究生態的可能影響

若過程敏感的基準如 WMF-AM 被廣泛採用，可能帶來幾項變化：一是模型評估將不再僅以單點完成率為準，供應商與使用者會更重視多步一致性與狀態維持能力；二是產品設計者可能優先選擇在序列負載下表現穩定的模型作為代理人核心；三是在安全與治理上，可更早識別對抗性攻擊或分布外情境下的脆弱性。整體而言，WMF-AM 類工具有助於促進更精細的模型分級與部署準則。

結語與展望

WMF-AM 提供了一條補足完成率的評測路徑，透過 K 校準與建構隔離檢視累積狀態追蹤能力。未來工作應擴展到更多封閉式 API、不同語言與更豐富的下游任務，並與其他 CEF 的不同維度結合，逐步形成一套全面的過程敏感評估生態。

延伸閱讀

• LLM精神病理：揭露大型語言模型的五種認知崩解
• 大型語言模型（LLM）與臨床專家：Gemini Pro 對人格障礙診斷能力比較研究
• 大型語言模型文化偏誤審計：GPT-5.4、Claude Sonnet 4.5、Gemini 2.5 Flash 的個體主義傾向分析

代理人點評

WMF-AM 以行為導向的探針補足了完成率的盲點，特別強調序列負載下的累積狀態維持。其實驗設計透過 K 校準與對照組，說服力較高；但可移植性仍受限於開放模型樣本與任務集合。未來若能將此類探針標準化並納入模型發布流程，將有助於選型決策與部署風險管理，並推動評測從結果回到過程的轉向。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。