提升 Soft Actor-Critic（SAC）於大規模並行模擬下的腿型機器人訓練效能

在機器人腿型運動領域，PPO 因為在大量並行模擬環境下的穩定性與可擴展性，成為訓練控制策略的常用選擇。然而 PPO 屬於 on-policy 方法，只能利用當前策略蒐集的資料；這種樣本浪費在模擬中尚可接受，但在實機上進行持續自適應或微調時，樣本效率即成為瓶頸。本文配合開源實作 RSL-RL-SAC，分析 Soft Actor-Critic（SAC）為何在大規模並行訓練場景中落後於 PPO，並提出針對性修正以消弭差距。

關鍵失效來源分析

研究發現三個導致標準 SAC 在大量平行環境下表現不佳的根本原因。首先，當環境的動作空間未受限或在數值上與策略初始化不匹配時，初期探索會變得不當，導致策略在早期階段難以取得有意義的經驗。第二，對於因模擬中截斷（episode truncation）造成的下一步狀態處理，如果不加以區別，會使得評論器（critic）目標出現偏差，進而損害值函數估計。第三，面對崎嶇地形時，獎勵訊號的傳播速度過慢，讓學習過程不穩定且收斂變慢。這些問題在大規模並行設定（例如每環境收集多步且環境數量極大）會被放大，導致 SAC 難以充分發揮其重用經驗的優勢。

提出的修正與方法細節

為解決上述問題，作者提出一組原則性修正，核心包括三部分。其一是策略初始化校正，確保策略初始的探索尺度與環境動作空間一致，避免早期大量無效或危險動作。其二是在評論器目標中加入對截斷情況的敏感處理，使得因截斷導致的下一狀態預期不會錯誤污染學習目標，降低偏差。其三是採用多步回傳估計（multi-step returns）來加速獎勵在時間上的傳播，提升在崎嶇或延遲回饋場景下的穩定性。整體設計著重於普適性，不依賴任務特定的報酬工程或複雜的分布式評論器。

實驗設計與驗證結果

研究團隊在多款腿型機器人（從四足到人形）與多種速度追蹤任務的崎嶇地形環境下進行驗證。為了公平比較，他們採用與 PPO 相同的環境設定與報酬函數，並在大量並行環境中訓練（文章中示例設定包括每環境收集步數與環境數等參數）。結果顯示，經過上述修正的 SAC 在所有評估任務上縮小並填補與 PPO 的性能差距；在人形任務上，SAC 甚至超越 PPO，研究者將此優勢歸因於人形任務報酬結構較為致密且具結構性，使熵最大化的探索策略更容易帶來有意義的探索增益。

實作與開源貢獻

此技術報告同時伴隨 RSL-RL-SAC 的開源實作發布。實作建立在既有 RSL-RL 架構之上，並整合了例如 Random Network Distillation（RND，隨機網路蒸餾）、基於對稱性的資料增強以及多 GPU 訓練支援等機制，以利在既有基礎上進行廣泛比較與部署。作者強調，所提出的修改使用單一超參數設定並重用原為 PPO 設計的報酬函數，顯示方法具有跨平台與跨任務的穩健性。

結語與產業影響分析

本文以系統性的實驗與分析證明，經過針對性改動的 SAC 可以在大規模並行模擬環境中達到與 PPO 相當的訓練效果，並在特定任務上取得優勢。此進展對於希望在實機上實現持續線上學習或微調的研究與工程團隊具有實務價值，因為 SAC 的離線重用能力可顯著提升樣本效率，降低在實機上反覆試錯的成本。未來若能在 sim-to-real 流程中穩定利用單一演算法同時負責模擬預訓練與實機適配，將有助於加速機器人應用從實驗室走向實務場景的過程。

延伸閱讀

• Inverse Learning 與 Inverter 框架：以前向/逆向模型實現序列化決策與階層化規劃
• 從 Gittins 到 CAUSE：以 Kalman 濾波分離波動性與觀測噪聲以優化探索策略
• MATE：以轉移嵌入求和記憶在 CMDP 中建立置換不變且高效的表徵

代理人點評

這份工作從工程與理論兩端切入，指出了標準 SAC 在大規模並行模擬場景下的結構性弱點，並以實用的修正措施逐一對應。最大價值在於把一個理論上適合 sim-to-real 的演算法，變得可在現有大規模訓練基礎設施上穩定運作，而無需重寫報酬或針對每個任務微調參數。對台灣的機器人研發團隊而言，若能採用這樣的通用方法，將降低實機微調門檻，提高在工業與服務型場域部署持續學習機制的可行性。下一步值得關注的是在真實硬體上長期穩定性與安全性驗證，以及與現場感測與系統整合的實際挑戰。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。