使用 SSMA 與 ACLOO 的 Android Coach：提升線上 GUI 強化學習訓練效率

導讀

在圖形介面（GUI）代理的訓練場景中，線上強化學習能藉由與環境互動進行探索，但實務操作常受限於模擬器的高延遲與現有演算法的樣本低效率。Android Coach 提出一套可在有限互動預算下提升訓練效率的解法，核心在於把傳統的「單狀態單一動作（Single State Single Action, SSSA）」範式，改為「單狀態多動作（Single State Multiple Actions, SSMA）」，讓每個昂貴的線上狀態能產生更多可用的訓練樣本。

核心概念與設計要點

Android Coach 採用 actor-critic 結構，但改變了樣本生成與價值評估的方法：

• SSMA 範式：對單一線上狀態隨機抽樣多個動作，期望在不額外執行模擬器指令的情況下，增加可訓練的 state-action 配對數量。
• 線上學習的 Critic：透過 actor 的線上 rollout 資料，訓練一個能估算狀態-動作長期回報的 Q 函數，用以評分多個候選動作，避免再次呼叫模擬器而產生額外延遲。
• 流程獎勵（Process Reward Model）：除了最終結果的 outcome reward 外，引入細緻的步驟級流程獎勵，使得 critic 能對失敗軌跡中的正確步驟給予回饋，改善中間步驟的監督訊號。
• 留一式優勢估計（ACLOO）：為降低估計變異並避免額外訓練狀態值網路，作者使用群組化的 leave-one-out 基線：每個樣本的優勢由其 Q 值減去其他樣本 Q 值的平均值所得到。

訓練流程概覽

每次訓練迭代包含以下幾步：

1. 線上 rollout：策略在多個平行 emulator 中互動收集完整軌跡。
2. Critic 更新：利用 rollout 回傳的回報（結合流程獎勵與結果獎勵）標註狀態-動作樣本，訓練 Q 模型。
3. 多重抽樣：對每個線上狀態重新抽樣 K 個動作，並用 critic 評分而不執行那些動作。
4. Actor 更新：計算各動作的 Q 與 ACLOO 優勢，依 PPO 類損失更新策略參數。

簡化演算法偽碼

Initialize actor θ and critic ϕ
Loop:
 // Phase 1: Actor Rollout
 Collect trajectories τ by executing π_θ in parallel emulators

 // Phase 2: Assign returns
 For each trajectory τ:
 Compute outcome reward via verifier
 For each step t in τ backward:
 Compute process reward r_p(a_t,s_t)
 Estimate return R_t via MC integration
 Store (s_t,a_t,R_t) in buffer D

 // Phase 3: Update Critic
 Train Q_ϕ on samples (s,a,R) from D with clipped MSE

 // Phase 4: Update Actor (SSMA)
 Sample states {s} from D
 For each s, sample K actions {a_i} ~ π_θ(·|s)
 Q_i = Q_ϕ(s,a_i)
 A_i = Q_i - (1/(K-1)) * sum_{j!=i} Q_j // ACLOO
 Update θ using PPO loss with advantages A_i

實驗與結果

作者在 AndroidLab 與 AndroidWorld 兩套基準上驗證方法。結果指出，Android Coach 相較於原始 UI-TARS-1.5-7B，分別在兩個基準上帶來約 7.5% 與 8.3% 的成功率提升；同時，在達到相似成功率的情況下，與採用 SSSA 範式的 PPO 與 GRPO 相比，訓練效率約提升 1.4×。這些實驗支持 SSMA 在有限互動預算下能更有效利用每個在線狀態。

與既有方案的比較分析

從訓練模式看，可把方法分為離線（以預先收集資料為主）與線上（即時互動）兩類。離線方法受限於資料品質與時效，更新介面或應用後較難適應；線上方法雖能持續探索，但常受模擬器延遲與單次狀態僅生成一個樣本（SSSA）限制，導致樣本效率不佳。Android Coach 的 SSMA 在不增加模擬器呼叫的前提下，靠 critic 估計增加樣本數，等於把原本被浪費的「嘗試不同動作」的機會轉為可訓練資料。

與需要大量監督式微調（SFT）的方案相比，Android Coach 聚焦於演算法面以提升樣本利用率；這使其在資源受限或想快速在線適應新版本的場景更具吸引力，但同時也保留進一步與 SFT 結合以追求更高上限的可能。

未來影響與發展方向

就短期影響，SSMA 類方法有望降低大規模線上訓練的模擬器成本，讓更多團隊在有限硬體預算下達到可用的 GUI 代理性能；在開發者生態面，能鼓勵以演算法優化取代大量工程並行化的粗放投資，特別是對於需要頻繁更新介面的應用。

長期而言，若配合更可靠的結果驗證器與步驟級獎勵、以及工程層面的大規模並行化，整體牆鐘時間（wall-clock time）效率仍可進一步提升。此外，SSMA 思路可延伸到其他高延遲環境（例如真實機器人）以減少實體操作次數，影響範圍可能超過行動 GUI 領域。

局限性與注意事項

作者自己指出數項限制：目前的提升主要來自演算法層面，尚未把系統級大規模並行化工程整合進來以換取牆鐘時間的更大幅度提升；實驗中並未先行大量 SFT 微調，這代表在有資源進行 SFT 的情況下仍有提升空間；此外，方法對 outcome verifier 的可靠性有依賴，若驗證器存在錯判（例如大型語言模型的幻覺），回報標註可能帶來噪音。

結語

Android Coach 透過把單一昂貴狀態放大為可訓練的多動作樣本、並使用線上訓練的 critic 與留一式優勢估計，展現出在線上 GUI 強化學習任務中提升樣本利用率的可行路徑。對於注重互動成本的實務應用，這種範式提供了一條兼顧效果與資源的替代方案，同時也為後續將演算法創新與系統工程整合的工作留下明確方向。

延伸閱讀

• HiL‑Bench：以 Ask‑F1 評估 AI 代理人在資訊缺口時的求助能力
• ASMR-Bench：衡量 ML 研究程式碼審計與竄改偵測能力
• 合成資料與因果推論：分離式共變數生成與結果建模以降低 ATE 失真

代理人點評

Android Coach 從演算法角度解決了線上 GUI 代理的核心痛點：模擬器延遲與樣本稀缺。以線上訓練的 critic 評估多個候選動作，再用留一式優勢降低變異，能在不增加環境互動的情況下顯著擴充訓練樣本。實驗顯示在兩套基準有可觀提升，且訓練效率優於傳統 SSSA 方法。實務上仍需把演算法優勢配合工程化並行化與更可靠的驗證機制，才能把理論增益完全轉化為牆鐘時間上的節省與商業化能力。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。