零樣本強化學習新框架：以行為基礎模型驅動即時探索

研究背景

零樣本轉移強化學習（Zero-shot RL）旨在訓練能對任意獎勵函數產生最適策略的代理人，且在轉移階段不需額外學習。傳統方法假設在轉移時能離線取得狀態‑獎勵配對資料，然而若獎勵是黑箱（例如直接的使用者回饋），此假設無法成立。

核心做法

本論文提出將行為基礎模型（BFM）本身作為探索策略的產生者，將線上轉移問題重新構築為類似多臂土匪的探索‑利用問題。具體而言，在每個時間步，土匪演算法推薦一個策略，BFM 在環境中執行並回傳獎勵與新狀態，重複此過程直至收斂至最佳策略。

在常見的線性獎勵近似設定下，作者引入上置信界（Upper Confidence Bound, UCB）概念，將探索目標表述為最小化不確定矩陣的特徵值，藉此驅動策略的探索行為。

實驗驗證

研究在一個簡易環境中進行了質性與量化的評估。結果顯示，使用 BFMs 產生的探索策略能在沒有事先獎勵資料的情況下，逐步逼近最優策略，證實了所提框架的可行性。

結論與未來方向

此方法為零樣本強化學習提供了與傳統離線轉移不同的即時學習路徑，特別適用於獎勵資訊只能透過互動獲得的情境。未來可擴展至更複雜的環境與非線性獎勵模型，進一步探討其在真實應用中的效能。

延伸閱讀

• Inverse Learning 與 Inverter 框架：以前向/逆向模型實現序列化決策與階層化規劃
• 從 Gittins 到 CAUSE：以 Kalman 濾波分離波動性與觀測噪聲以優化探索策略
• MATE：以轉移嵌入求和記憶在 CMDP 中建立置換不變且高效的表徵

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。