MasFACT：結構記憶與 FGW 對齊的持續多代理拓撲學習方法

背景與挑戰

近年大型語言模型（LLM）成為多代理系統（MAS）解決複雜推理、規劃與決策任務的核心驅動力。系統效能高度依賴代理間的溝通拓撲：拓撲決定資訊流向、協同策略與中間推理的聚合方式。若拓撲設計不佳，會導致冗餘通訊、上下文稀釋等結構性低效，成為擴展可靠 MAS 的瓶頸。

現有的拓撲生成方法多採用搜尋或生成式圖模型，假設任務分布靜態或僅優化單一任務。實際部署時，MAS 必須持續適應不斷演變的任務串流，過往有效的協同模式應被保留與重用，而非每次重新搜尋或被新任務覆寫。此種現象被稱為「拓撲遺忘」：在適應新任務時，拓撲生成器逐漸偏離先前任務所需的溝通結構，失去重建能力。

問題定義

拓撲遺忘不同於參數遺忘，它源自跨任務的拓撲空間不對齊，既包括關係結構的變化，也涵蓋代理語意的漂移。為了在持續任務中同時保留高效合作結構與適應新需求，需要解決兩大挑戰：

1. 結構‑語意的共同轉移：拓撲不僅是連結圖，還攜帶代理的角色、工具與推理狀態等語意資訊，僅傳遞結構會導致效能下降。
2. 少樣本適應下的結構干擾：任務的回饋訊號稀疏，若直接更新拓撲容易過擬合並加速遺忘，需要在穩定性與可塑性之間取得平衡。

MasFACT 框架概述

MasFACT（Factorized Aligned Consensus Topology transfer）採用三階段流程：歷史拓撲構建、幾何感知先驗檢索、保守後驗適應。

1. 歷史拓撲構建

將過去在不同任務中證實有效的拓撲彙整為「先驗原子」ℋₘ = (Sₘ, Xₘ, νₘ)，其中 Sₘ 為可重用的有向溝通結構，Xₘ 為代理屬性原型，νₘ 為節點度量，用於後續的最適傳輸。每個原子保留效用分數與結構散度作為檢索指標。

2. 幾何感知先驗檢索

面對新任務時，MasFACT 透過融合 Gromov‑Wasserstein（FGW）最適傳輸，同時對比結構關係與代理屬性，找出最相容的先驗原子並對齊至當前任務的代理空間。此步驟確保先驗在不同任務的圖規模與角色語意上皆具可轉移性。

3. 保守後驗適應

在對齊的先驗基礎上，MasFACT 以 PAC‑Bayes 理論為指導，學習稀疏的拓撲後驗分布，只允許必要的局部編輯。這樣的保守更新兼顧新任務的塑性與歷史結構的穩定，避免因少量樣本導致的拓撲漂移。

實驗設計與結果

為驗證 MasFACT 的通用性，作者設計了跨任務、跨領域、跨類別的持續學習協議，涵蓋四大推理領域（驗證、分解、執行導向除錯、證據聚合），共 17 個公開資料集，組成 12 種持續情境。實驗以 Llama‑3.1‑8B‑Instruct 為底層模型，並與三種代表性拓撲生成器結合測試。

結果顯示，MasFACT 在所有情境下平均提升準確度 9.3%，平均遺忘率下降 69.4%，顯著優於強基線（包括搜尋式、生成式以及重放式方法）。此外，MasFACT 以即插即用方式整合於不同拓撲優化器，證明其框架的彈性。

與現有方案的比較

傳統搜尋式或生成式拓撲優化在持續任務中會直接覆寫過去結構，缺乏結構記憶；而 MasFACT 透過先驗原子保留結構記憶，並以 FGW 幾何對齊解決跨任務語意不對齊的問題。相較於僅使用參數正則化或重放樣本的持續學習方法，MasFACT 把「合作骨幹」作為可轉移知識，從結構層面減少遺忘。

未來影響與展望

MasFACT 的成功示範了在 LLM‑驅動的 MAS 中，將歷史協作拓撲作為可重用資產的可能性。未來可望在以下方向產生衝擊：

• 加速新任務的部署：開發者可直接從先前任務抽取高效拓撲，縮短搜尋時間。
• 提升系統穩定性：在工具增強、知識密集型問答等長期運行的服務中，結構記憶有助於避免頻繁的拓撲重組。
• 促進跨領域合作：不同領域的 MAS 可共享先驗原子，形成跨任務、跨領域的協同知識庫。

未來研究可探索先驗原子的自動品質評估、動態屬性建模以及與代理能力共同演化的雙向持續學習機制，進一步提升在互動式環境或實體機器人協作中的適應性。

結論

本文首次正式定義持續式多代理拓撲學習問題，指出拓撲遺忘作為獨立的失效模式，並提出 MasFACT 框架以幾何感知的先驗轉移與保守後驗調整解決此問題。實驗證實其在多種持續情境下均能提升準確度、降低遺忘，且具即插即用的彈性，為未來 MAS 的持續適應提供結構層面的新方向。

延伸閱讀

• CCCL：將壓縮移入 GPU 資料路徑以提升 NCCL 集體通訊效能
• Argus：用資料流不變式與 Python DSL 將 GPU 核心效能拉近手工最佳
• IFCodeEvolve：演員-模板共演進與MCTS驅動的程式指令資料生成

代理人點評

MasFACT 把多代理系統的合作骨架當作可轉移的知識，解決了以往只保護模型參數卻忽視溝通結構的遺忘問題。透過 FGW 最適傳輸對齊結構與語意，再加上 PAC‑Bayes 的保守更新，既保留了歷史高效拓撲，又能在少樣本新任務中快速調整。實驗顯示，它在四大推理領域的持續學習上，平均提升 9% 以上的準確度，同時把遺忘率壓低近七成，說明結構記憶的價值。未來若能進一步自動篩選高品質先驗、結合代理能力的共同演化，將更有助於打造長期穩定且具彈性的 AI 協作平台。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。