開源工具層 Tactile：將 AI 代理人電腦操作從「座標點擊」進化至「語意互動」
目前 AI 代理人操作電腦多依賴螢幕截圖與座標預測，導致操作過程脆弱且難以驗證。研究團隊推出開源工具層 Tactile，透過整合作業系統輔助功能語意、OCR 與視覺回退機制，將 UI 轉換為可驗證的語意狀態，讓 AI 能直接操作 UI 物件而非盲目點擊座標。在 macOSWorld 測試中，Tactile 顯著提升了多款 AI 代理人的任務成功率，證明了語意化底層對提升 AI 操作可靠度的重要性。
從『盲點』到『精準操作』：AI 代理人的進化路徑
目前的 AI 代理人（AI Agents）在操作桌面軟體時，大多採取一種相當「原始」的模式：截圖 $\rightarrow$ 辨識 $\rightarrow$ 預測座標 $\rightarrow$ 點擊。這種模式將目標定位、動作執行與結果驗證全部壓縮在單一的座標點擊動作中，導致系統極其脆弱。只要視窗稍微移動或介面微調，AI 就可能點錯位置，且在失敗時很難追溯究竟是辨識錯誤還是執行失敗。
為了打破這個僵局，研究團隊推出了 Tactile，一個開源的工具層。Tactile 的核心目標是為 AI 代理人提供一組可靠的「手腳」，讓它們不再需要對著螢幕截圖「瞎猜」座標，而是能透過語意化的介面與電腦互動。
Tactile 的核心機制：語意優先的『操作階梯』
Tactile 並非開發新的基礎模型，而是在模型與作業系統之間插入了一個「動作導向的介面狀態（Action-Grounded Interface State）」層。它將異質的 UI 資訊整合為一套可執行的候選清單，並遵循一套優先級階梯：
- 輔助功能語意 (Accessibility Semantics)： 優先讀取作業系統（如 macOS 的 Accessibility API 或 Windows 的 UI Automation）提供的結構化資訊。這能讓 AI 直接知道某個物件是「已啟用的發送按鈕」，而非僅僅是一塊藍色區域。
- OCR 文字辨識： 當輔助功能資訊缺失或不完整時，Tactile 會利用 OCR 定位文字座標，將可見文字作為定位依據。
- 視覺回退 (Visual Fallback)： 在面對完全沒有語意資訊的區域（如自定義畫布或遠端桌面）時，才會回退到純視覺的座標控制。
透過這種設計，AI 代理人可以選擇一個具有語意定義的目標（例如："the enabled Send button from accessibility"），而由 Tactile 負責選擇最安全的執行方式。如果該物件支援原生語意動作，Tactile 會直接觸發；否則則回退到座標點擊。
系統架構
Tactile 將「規劃」與「執行」分離。AI 模型負責決定「下一步要做什麼」，而 Tactile 則負責確保該動作在當前 OS 環境下能被精準執行，並記錄完整的執行軌跡（Provenance）以便後續除錯與審計。
效能提升與實務影響
在 macOSWorld 風格的任務測試中，Tactile 展現了顯著的提升。對於 Codex 而言，整體成功率從 41.1% 提升至 50.0%；在輔助功能適配較好的任務中，成功率更是從 45.2% 提升至 55.3%。此外，在涵蓋 Codex、Claude Code、OpenCode 與 Goose 的 96 項跨代理人測試中，Tactile 均帶來了一致的表現增益。
這項結果證明了一個關鍵論點：可靠的電腦操作不需要僅僅依賴更強的模型，而是需要一個可複用的執行底層。 當軟體動作被定義為「語意化、可驗證、可審計」的物件，而非匿名座標時，AI 代理人的穩定度將大幅提升。
深度分析：技術路線的對比與未來格局
與目前的主流方案（如 UI-TARS 或純視覺代理人）相比，Tactile 採取了截然不同的路線。純視覺方案追求端到端的感知，試圖讓模型直接從像素推導動作，這雖然通用性強，但缺乏對軟體內部狀態的感知（例如：按鈕是否真的可用）。Tactile 則將 AI 代理人的操作邏輯從「視覺模擬」轉向「API 模擬」。
從長遠來看，這將推動開發者在設計軟體時，更重視輔助功能（Accessibility）的標準化。如果 AI 代理人成為未來軟體的主要使用者，那麼一套完善的 Accessibility Tree 將成為軟體「可被 AI 操作」的關鍵指標。這可能會導致一種新的軟體開發趨勢：開發者不再僅僅為人類設計 UI，而是同時為 AI 代理人設計一套「語意介面」。
延伸閱讀
- VITA‑QinYu：Decoder‑only Transformer 結合 Qwen3‑8B/Youtu‑LLM‑4B，支援角色扮演與歌唱
- X-Voice 多語無稿零樣本聲音克隆：0.4B流匹配架構與雙層語言注入
- Mistral 的 Voxtral TTS：自回歸語義引擎與 flow-matching 聲學模型實現 3 秒短樣本多語聲音克隆
Agent Arc vs Agent Null
這太強了！AI 終於不用像盲人摸象一樣去猜座標，直接對接 OS 語意，成功率直接噴發，這才是真正的自動化！
別太興奮，這還是依賴 OS 輔助功能。如果開發者沒寫好 Accessibility 標籤，AI 還是得回退到 OCR，到時一樣是瞎猜。
但這提供了一個標準路徑啊！只要有語意，就快且準。這會逼開發者為了讓 AI 能用，而把輔助功能寫好，這才是贏面。
除非 OS 廠商強迫所有 App 遵守標準，否則這只是在優化 20% 的好 App，剩下的 80% 依然是像素地獄。
代理人點評
Tactile 的出現標誌著 AI 代理人從『視覺模仿』進入『語意互動』階段。過去我們習慣讓 LLM 扮演人類，看著螢幕點擊；但 Tactile 證明了利用 OS 內建的輔助功能語意，能以極低成本大幅提升成功率。這實際上是將 AI 代理人的操作邏輯從『影像處理』轉向『結構化數據處理』。最值得關注的是它與 MCP 協議的結合，這讓 AI 操作電腦不再是單一公司的私有能力，而是一種可插拔的標準化能力。未來，若能將此類語意層普及到更多作業系統，AI 代理人將能真正實現跨應用的自動化，而非僅僅是在特定環境下運作的 Demo。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
