Agent-Computer Observation Interface

速報

突破觀測瓶頸：Agent-Computer Observation Interface 讓電腦使用代理更聰明

研究者指出現有的電腦使用（CU）代理在觀測上過度依賴每幾秒的螢幕截圖，導致無法捕捉視訊、動畫、即時 UI 事件與語音指示。為此他們提出 Agent-Computer Observation Interface（AOI），一個與模型無關的感知層，透過關鍵影格捕捉、音量門控語音轉錄與視覺敘事文字化三個模組，將持續觀測與離散動作解耦。