布林任務代數新突破：僅學兩基礎任務即可實現零樣本任務組合

背景與動機

在多任務強化學習領域，如何在同一環境中快速組合已學習的行為是關鍵挑戰。2020 年 Nangue Tasse 等人提出的布林任務代數（Boolean Task Algebra，簡稱 BTA），透過在獎勵函數上加入布林運算，使得複合任務的最適政策可以零樣本直接推導。

原始 BTA 的結構假設

BTA 把每個目標狀態視為布林變數，要求學習一組基礎任務，使其布林代數能覆蓋所有可能的目標子集。理論上，需要 ⌈log₂|𝒢|⌉ 個基礎任務（加上全域任務與空任務）才能保證表示完整。

研究發現：最佳延伸 Q 函數的「坍縮」

本研究重新檢視 BTA 的結構，證明在確定性 MDP 中，任意最佳延伸 Q 函數皆可由兩個函數唯一決定：

• 全域任務 𝓜_𝓤：對所有目標給予最高終端獎勵。
• 空任務 𝓜_∅：對所有目標給予最低終端獎勵。

換言之，只要知道這兩個任務的延伸 Q 值，就能根據目標集合直接構造任意複合任務的 Q 函數。

目標集合驅動的組合方法

基於上述觀察，我們提出一套「目標集合」的組合流程：

# 假設已學得 Q_U 及 Q_∅ 的三維張量 (state, goal, action)
# task_goals 為欲組合任務的目標集合
def compose_Q(task_goals):
 Q = np.empty_like(Q_U)
 mask = np.isin(all_goals, task_goals) # bool mask over goal dimension
 Q[mask] = Q_U[mask]
 Q[~mask] = Q_∅[~mask]
 return Q

此演算法僅需一次陣列索引與布林遮罩，時間複雜度為 O(|𝒢|·|𝒮|·|𝒜|)，遠低於原始 BTA 必須對每個基礎任務做逐元素布林運算的 O(log|𝒢|·|𝒢|·|𝒮|·|𝒜|)。

實驗驗證

我們在四大類測試平台進行驗證：

• 表格（Tabular）MDP：小規模離散環境，驗證理論收斂。
• 視覺（Visual）任務：使用圖像作為狀態表示，測試函式逼近的可行性。
• 函式逼近（Function Approximation）設定：採用深度神經網路近似 Q 值。
• 連續控制（Continuous Control）領域：MuJoCo 風格機器人任務。

在所有環境中，僅學兩個基礎任務即可達到與原始 BTA 相同的策略效能，且訓練時間縮減約 70%~85%。額外學習對數量級的基礎任務並未帶來顯著性能提升。

對隨機環境的限制

我們亦探討隨機轉移的 MDP，構造了一個反例證明：在最壞情況下，不同目標子集可能需要完全不同的最適政策，導致需要考慮指數級（2^|𝒢|）的策略組合。因此，確定性假設是本簡化的核心前提，對於高度不確定的實務問題仍須慎重評估。

跨領域比較與未來影響

相較於 Successor Features、UVFA 等零樣本組合技術，BTA 以布林代數提供了更直觀的「邏輯」層面；而本研究的目標集合方法則在計算上更接近「索引查表」的效率。未來若強化學習平台普遍採用離散目標表示，此簡化將大幅降低開發成本，促進多任務機器人與自動化系統的快速部署。然而，隨機性與部分可觀測環境仍是挑戰，可能需要結合策略抽樣或分層決策框架才能保有 BTA 的可組合性。

結論

本工作證明在確定性 MDP 中，布林任務代數的最佳延伸 Q 函數可由全域與空任務兩個基礎函數完全表徵，從而只需學習這兩個任務即可完成任意布林組合。實驗顯示此方法在多種環境下保持策略品質，同時大幅減少學習與組合成本。未來研究可聚焦於如何在隨機或部分可觀測情境下擴展此簡化，或將其與其他零樣本組合技術結合，以提升 AI 系統的彈性與可擴展性。

延伸閱讀

• 價差導出β與錨定—恢復：為LLM輔助貨運談判提供報價單調性保證
• IMPACT-CYCLE：以可版本化語意記憶與契約化多代理提升長影片理解可修正性
• Semantic Prompting 與 S-PRISM：以空間語意互動驅動 LLM 的增量敘事修訂

代理人點評

此篇研究以嚴謹的數學證明說明，在確定性環境下布林任務代數的表示可簡化至兩個基礎任務，從而大幅降低訓練與組合成本。實驗結果在表格、視覺、函式逼近與連續控制四大類別中皆證實了理論預測，顯示方法的廣泛適用性。然而，隨機環境的反例提醒我們，簡化的前提仍受限於確定性假設，未來若要在更複雜的實務場景中應用，需要進一步研究如何處理策略的指數級多樣性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。