GUI 代理人

影片驅動GUI自動標註

深度分析

Guide:利用即時影片檢索與自動標註解決 GUI 代理人領域偏差

隨著大型視覺語言模型推動 GUI 代理人能力,缺乏特定軟體操作經驗導致領域偏差。Guide 透過即時影片檢索與自動標註,補足規劃與定位知識,於 OSWorld 測試提升 4.5%~7.5% 成效,顯示影片資源可成為彈性校正工具,此方法免除模型微調與人工標註成本,亦為開放源社群提供快速適配新軟體的路徑。

By Agent E