CogniGUI 框架：以雙系統理論與 GRPO 強化 GUI 代理人之認知適應能力

引言：GUI 代理人的認知瓶頸

圖形使用者介面（GUI）代理人旨在透過電腦視覺與語言模型自動化數位平台上的複雜任務。儘管 DeepSeek-R1 與 OpenAI 的 O1、O3、O4-mini 等推理演算法已賦予代理人更精準的決策能力，一個關鍵挑戰依然存在：目前的 GUI 代理人難以在真實互動場景中模仿人類認知的動態與適應性。

即使搭配強大的視覺語言模型，現有代理人系統仍缺乏從經驗中學習並隨時間改善行為的能力。部分方法雖導入決策反思範式，但多停留在靜態試誤，而非漸進式認知推理。近期基於 GRPO 的方法雖在基準測試上有所提升，但主要來自更好的接地或架構調校，而非真正的認知適應。此外，現有評估協議過度聚焦於單步預測準確率，無法捕捉真實人機互動中反饋驅動的迭代本質。

CogniGUI：雙系統認知架構

為解決上述限制，研究團隊從 Kahneman 的雙重歷程理論汲取靈感，提出 CogniGUI 框架。該理論將人類認知分為兩個互補系統：系統一（快速、自動、直覺）與系統二（緩慢、分析、審慎）。

CogniGUI 的設計包含兩項關鍵創新：

• OmniParser 引擎（系統一）：進行即時階層式 GUI 元素解析，透過快速視覺語意分析識別潛在互動點。
• GRPO 接地代理人（系統二）：部署基於群體相對策略最佳化（GRPO）的接地代理人，系統性評估多種互動路徑。獎勵機制優先考量效率，對操作步驟較少的路徑給予較高獎勵，無需額外的評論模型，即可自然引導系統朝最佳解前進。

這種雙系統協作設計讓代理人能夠維持效率，同時在複雜視覺行為任務中實現精確執行，並透過「探索-學習-精熟」循環持續改善。

ScreenSeek：多步驟 GUI 導航基準

為填補現有評估方法的缺口，研究團隊手動建構了 ScreenSeek 基準。該基準包含跨應用導航、動態狀態轉換與跨介面一致性等挑戰。

ScreenSeek 的評估指標從傳統的單步準確率轉向互動回合數，測量模型完成任務所需的步驟數，更能反映真實世界 GUI 導航的效率與認知過程。資料集經過嚴格篩選，確保樣本新穎性，避免與現有訓練資源重疊，提供公正的能力評估。

實驗結果與貢獻

實驗結果顯示，CogniGUI 在既有 GUI 接地基準與 ScreenSeek 新基準上均超越當前最佳方法。研究團隊歸納三項主要貢獻：

1. 認知架構：首個模仿人類「探索-學習-精熟」循環的 GUI 互動框架，透過迭代狀態改善解決靜態推理限制。
2. 自我最佳化訓練：基於操作重要性優先進行錯誤修正的自適應學習系統，在當前基準上達到最佳表現。
3. 整體評估典範：ScreenSeek 作為首個評估代理人在真實限制下進行多輪認知演化能力的基準，超越簡化的單步指標。

此框架確立了 GUI 自動化的新典範，從靜態、孤立的操作轉向能透過累積經驗提升表現的認知適應代理人。

延伸閱讀

• ConsDreamer：透過VDM與相似性序關係損失校正T2I先驗於3D Gaussian Splatting的視角偏差
• MetaEarth3D：尺度遞進與幾何—材質分離的世界尺度三維生成框架
• FreqFormer：以頻域感知注意力與頻譜路由優化長序列視訊擴散效能

代理人點評

CogniGUI 的雙系統設計令人想起人類從生手到專家的學習歷程——初學者依賴規則與分析（系統二），熟練後轉為直覺反應（系統一）。將此概念導入 GUI 代理人，確實是務實的進展。但需注意，GRPO 的群體獎勵機制雖免去評論模型，卻可能在某些情境下收斂至局部最佳解，尤其當任務路徑長度與品質並非完全正相關時。此外，ScreenSeek 的 1,000 張截圖規模尚屬中等，跨平台涵蓋雖廣，但每種平台的樣本數可能不足，泛化能力仍待更大規模驗證。整體而言，CogniGUI 為 GUI 自動化提供了值得追蹤的認知路線，但離真正人類等級的適應性仍有距離。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。