AgentLens：以自適應視覺模態優化行動 GUI 代理人
行動GUI代理能直接操作App介面自動化任務，卻缺少執行中與使用者的視覺溝通標準。AgentLens提出三種自適應視覺模態：Full UI、Partial UI與GenUI，並以Virtual Display允許背景執行同時選擇性覆蓋，視覺呈現會依任務調整。研究透過形成性研究與受控實驗驗證適配效果；實驗顯示85.7%受測者偏好AgentLens並獲最高可用性評分。
重點速報
行動 GUI 代理可以直接操作手機 App 介面自動化任務，但在執行時應如何向使用者呈現動作，仍缺乏共識。研究團隊設計並驗證 AgentLens，一套自適應的視覺溝通機制，旨在平衡透明度與多工能力。
方法與設計
經過多輪形成性研究，作者發現使用者偏好混合模式的「即時可視互動」，而最合適的視覺呈現會依任務不同而改變。AgentLens 定義三種溝通模態：Full UI（完整界面呈現）、Partial UI（部分界面疊加）與 GenUI（生成式介面），並擴充代理的溝通動作，使其能根據情境切換模態。同時引入 Virtual Display 機制，讓代理在背景執行時仍能提供選擇性視覺覆蓋，避免中斷使用者多工流程。
實驗與結果
在一項包含 21 位參與者的受控實驗中，85.7% 的受測者表示偏好 AgentLens 的設計。AgentLens 在整體可用性量表（Overall PSSUQ）與採用意願上取得最高分，顯示自適應視覺溝通能在不妨礙多工的前提下提升使用者信任與接受度。
觀察
研究指出，行動代理在設計溝通介面時應考量任務特性與使用情境，單一極端的前台或背景執行都難以兼顧透明度與效率；自適應且即時的視覺回饋，能在多數情境下取得較好平衡。
延伸閱讀
- 視覺語言模型在具身代理中的信任邊界混淆與多代理緩解策略
- 文本條件擴散模型下的語意比較：以影像分布衡量文本相似度（含 Stable Diffusion 實驗）
- Cyber Defense Benchmark：LLM 在 SOC 威脅獵捕上的挫敗
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
