聯邦演員-評論家：共享子空間下的個性化強化學習收斂證明
面對環境異質與協同訓練挑戰，本研究提出聯邦演員-評論家架構，代理共享線性子空間並保留個性化策略，採單時尺度與馬可夫取樣。透過投影子空間更新、QR分解與條件混合分析，證明評論家誤差與策略梯度在代理數量上呈線性加速；實驗於聯邦Hopper-v5顯示比SinglePPO與FedAvgPPO有所提升。研究方法考慮不同轉移核和耦合學習動態，並提供細緻的馬可夫採樣下函數評估差異分析。
要點速覽
研究提出一種聯邦演員-評論家框架：代理共享線性子空間表示，同時保留個性化的本地策略與評論頭，解決環境異質下的協同訓練問題。
方法與理論貢獻
在單時尺度更新與馬可夫取樣設定下，論文構建聯合線性近似分析，證明評論家誤差與策略梯度均會收斂。具體而言，評論家誤差以約 Õ(1/((1-γ)^4√(T K))) 收斂，策略梯度範數以約 Õ(1/((1-γ)^6√(T K))) 收斂，顯示隨代理數量 K 的線性加速，儘管各代理擁有不同的轉移核且學習動態互相耦合。
技術細節
為突破分析阻礙，研究引入對投影子空間更新與 QR 分解的新的擾動分析，並用條件混合論證處理異質馬可夫噪聲。針對政策更新與時間相關性，還建立了馬可夫取樣下函數評估與暫時凍結策略之間差異的細緻刻畫。
實驗
框架在 PPO 上於聯邦 Hopper-v5 的行為映射異質性場景中驗證，結果顯示相較於 Single PPO 與 FedAvg PPO 有提升，且從學到的共享主幹觀察到下游遷移效益。
延伸閱讀
- AIVAT 評估的病態行為與不確定性量化：引入逆變異加權以提升樣本效率
- MAVIC：修正巨集動作價值以提升指令遵循的多代理強化學習方法
- Parametric Skill Transfer（PaST）：以技能向量補強 SFT 與 RL 的參數轉移
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
