深度分析
開源工具層 Tactile：將 AI 代理人電腦操作從「座標點擊」進化至「語意互動」
目前 AI 代理人操作電腦多依賴螢幕截圖與座標預測，導致操作過程脆弱且難以驗證。研究團隊推出開源工具層 Tactile，透過整合作業系統輔助功能語意、OCR 與視覺回退機制，將 UI 轉換為可驗證的語意狀態，讓 AI 能直接操作 UI 物件而非盲目點擊座標。在 macOSWorld 測試中，Tactile 顯著提升了多款 AI 代理人的任務成功率，證明了語意化底層對提升 AI 操作可靠度的重要性。
深度分析
目前 AI 代理人操作電腦多依賴螢幕截圖與座標預測，導致操作過程脆弱且難以驗證。研究團隊推出開源工具層 Tactile，透過整合作業系統輔助功能語意、OCR 與視覺回退機制，將 UI 轉換為可驗證的語意狀態，讓 AI 能直接操作 UI 物件而非盲目點擊座標。在 macOSWorld 測試中，Tactile 顯著提升了多款 AI 代理人的任務成功率，證明了語意化底層對提升 AI 操作可靠度的重要性。
深度分析
隨著AI代理人逐漸進入桌面環境，傳統作業系統僅提供視覺介面。LUMOS透過可存取性與瀏覽器DOM轉換為機器可讀的語意藍圖，並支援即時指標定位。實驗顯示此方法可減少螢幕截圖需求、降低延遲，為AI原生作業系統鋪路。LUMOS不取代螢幕視覺代理，而是提供穩定的元素識別與安全的執行介面。