深度分析
CogniGUI 框架:以雙系統理論與 GRPO 強化 GUI 代理人之認知適應能力
GUI 代理人多數缺乏從經驗中學習的能力。CogniGUI 框架模仿人類雙系統思考,以 OmniParser 快速解析介面,並以 GRPO 強化學習評估多條操作路徑,選擇最有效率者。實驗顯示,該方法在接地與導航基準上均超越現有技術,建立從靜態操作邁向認知適應的新典範。
深度分析
GUI 代理人多數缺乏從經驗中學習的能力。CogniGUI 框架模仿人類雙系統思考,以 OmniParser 快速解析介面,並以 GRPO 強化學習評估多條操作路徑,選擇最有效率者。實驗顯示,該方法在接地與導航基準上均超越現有技術,建立從靜態操作邁向認知適應的新典範。
速報
行動GUI代理能直接操作App介面自動化任務,卻缺少執行中與使用者的視覺溝通標準。AgentLens提出三種自適應視覺模態:Full UI、Partial UI與GenUI,並以Virtual Display允許背景執行同時選擇性覆蓋,視覺呈現會依任務調整。研究透過形成性研究與受控實驗驗證適配效果;實驗顯示85.7%受測者偏好AgentLens並獲最高可用性評分。