Incognita 框架揭示社會分散任務環境的 AI 行為與成功率
研究結合了具備可執行動作與持續狀態的基礎測試與語言代理人互動的社會模擬，提出 Incognita 框架，將社會互動與具體執行分離。框架內部將訊息路由至使用者或專家，專家審核後交由確定性子環境執行，最後由離線評估器給予獎勵。
在社會環境中，代理人何時取得資訊、何時採取行動以及行動是否基於已獲得的知識，直接影響其效能。過去的基礎測試提供可執行的動作與持續狀態，社會模擬則強調語言代理人的互動。本研究將兩者需求結合，提出「Incognita」框架，將社會互動與具體執行分離。
Incognita 框架概述
框架內部的代理人會將訊息傳遞給使用者或專家實體；專家負責仲介可接受的操作；一個確定性的子環境在正規狀態上執行被接受的操作；最後離線評估器根據繼承的獎勵機制對結果打分。此設計讓訊息傳遞成為在角色分割知識上的探索，而具體動作則是對環境狀態的利用。
Incognita‑Retail 實驗設定
研究將 tau‑bench 零售測試改造成多實體環境，同時保留最終狀態的獎勵語意。三種生成式代理人在 18 項任務上進行測試，總計 540 次試驗，任務依社會廣度分層。
實驗結果與觀察
成功率從 0% 提升至 8.9% 及 17.2% 兩個階段；提前完成率則從 100% 降至 87% 再到 58%。較強的模型能夠引出更多隱藏知識、聯絡更多實體，並嘗試更多具體寫入，但整體可靠性仍偏低。研究顯示，社會分散任務環境能先顯露知識抽取、來源選擇、具體動作嘗試與過早完成的行為模式，卻尚未達到穩定成功的水準。
延伸閱讀
- 以受限 WebAssembly 與純度憑證建立可驗證的認知工作流程治理
- 以符號猜想與 LLM 支援的 SCALAR 框架：低深度 QAOA 參數可預測性研究
- SCALAR：在理論物理中以 Actor–Critic–Judge 多回合互動提升 LLM 解題能力
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
