Tactile

深度分析

開源工具層 Tactile：將 AI 代理人電腦操作從「座標點擊」進化至「語意互動」

目前 AI 代理人操作電腦多依賴螢幕截圖與座標預測，導致操作過程脆弱且難以驗證。研究團隊推出開源工具層 Tactile，透過整合作業系統輔助功能語意、OCR 與視覺回退機制，將 UI 轉換為可驗證的語意狀態，讓 AI 能直接操作 UI 物件而非盲目點擊座標。在 macOSWorld 測試中，Tactile 顯著提升了多款 AI 代理人的任務成功率，證明了語意化底層對提升 AI 操作可靠度的重要性。