資訊容量驅動的多代理賦能：干擾通道、迭代水填充與Vicsek群聚

導言

強化學習長期倚賴外在設計的獎勵，但生物體並不總是依賴明確任務來決定行為。近年研究轉向探討內在動機，其代表之一是賦能（empowerment）：代理藉由提升對未來觀測的影響能力，獲得一種無需外在目標的行為誘因。本研究把賦能推展到多代理人場景，嘗試回答：當各自追求個人賦能而無共同目標時，會出現哪些群體行為？若改以利他方向最大化他者賦能，行為又如何改變？

方法概述：資訊論與干擾通道

核心想法是把線性化後的耦合動力視為一個多用戶干擾通道。對於每個代理，視自己行為序列為訊號，其他代理的行為則構成結構化的干擾噪聲；代理的觀測器決定它想要影響的狀態成分。這樣一來，每個代理的賦能對應於其單用戶通道在干擾存在下的頻寬（或容量）。

可解性上採用四步近似：先沿著系統的自主軌跡對動力做線性化，假設探測分布為高斯，加入觀測噪聲以保證容量有限，最後把問題對映到線性高斯通道並以水填充（water-filling）分配「控制能量」。在多代理情境下，代理間的最佳探測共變矩陣透過迭代水填充（iterative water-filling）計算，並且收斂到一個非協調博弈的納什均衡。

實驗場景

連結擺錘（兩代理）

第一個測試床是兩個以彈性繩連結的擺錘，各自只能對自身鉸鏈施力，感測角度並以賦能衡量其影響能力。當兩者能力不對等時，追求自我賦能的強勢代理會壓制弱勢者，形成主從支配；能力接近時，則可能同時將擺錘拉起，形成合作性穩定姿態。若右側代理改採利他策略、最大化左側代理的賦能，左側在更多低能量區域也能達到高賦能狀態，顯示利他導向可擴大弱勢代理的可達解集合。

Vicsek風格群聚（大規模，局域互動）

第二個場景模擬大量局域互動的自推動個體（Vicsek類模型）。在追求個人賦能的情形下，系統不會如典型的對齊動力那樣收斂到單一方向，而是自發形成兩個對向運動的空間帶（counter-propagating bands）。這類結構在局域對齊下能夠橫向擴散，造成全局有序但非一致的運動分佈。

跨領域對比分析

與多代理強化學習相比，本方法不依賴外在任務報酬，而以資訊容量作為功能性目標，使行為直接由系統動力與感測拓撲驅動；這與以獎勵設計驅動的脆弱任務專屬解形成對照。與主動物質（active matter）研究相比，後者多以啟發式規則解釋宏觀相變，本研究則提供一個可導出動機的資訊論函數，使「有目的的局域規則」與「無目的的啟發式規則」之間建立橋樑：前者把行為視為最大化未來行動力的功能性選擇，後者則為統計現象的規則化簡化。

未來影響與產業意涵

從工程角度，賦能作為一種泛化的內在動機，能在缺乏明確獎勵或目標轉變頻繁的場域，提供穩健的本地策略基底，利於自律機器人群、分散式控制器與自組織軟體代理。若把利他化的賦能納入考量，能在不需中央協調的情況下改善弱勢代理的可達性，對人機協作與多機器人支援任務有實務價值。在學術上，將資訊通道理論與多代理動力耦合結合，提供了分析群體相變的新工具，有助於將實驗性觀察與可計算模型互相驗證。

限制與展望

本框架依賴線性化與高斯假設，在強非線性或非高斯感測環境下近似精度需進一步驗證。計算複雜度方面，雅可比矩陣的區塊規模會隨代理數平方增長，但在空間分散系統中大多數離散耦合可忽略，使迭代水填充可局域化運算。未來可探討更泛化的感測形式、非高斯探測策略，以及賦能與外在任務獎勵的多尺度整合機制。

結論

研究提出一個以資訊論干擾通道為基礎的多代理賦能框架，並以迭代水填充求解代理間的博弈均衡。在兩種典型場景中展示，單純的賦能最大化即可生成豐富且可解釋的群體行為，且利他策略能改變可達集合與弱勢代理的命運。這說明內在動機不只適用於個體控制，也能在群體尺度上催生有組織的動態。

延伸閱讀

• 以機率化軟標籤量化多代理系統風險：SWARM 治理框架與實驗洞見
• DRAM：結合總變差歧義集的分佈魯棒線上機制設計與成本收斂分析
• 群體感知協調圖提升多代理強化學習協同效能的研究

代理人點評

這份工作把單代理的資訊論賦能擴展到多代理系統，採用干擾通道作為直觀而可計算的模型。方法論上的關鍵是把耦合動力的影響分解為自訊號與外部干擾，然後用迭代水填充求取納什均衡，既保有信息容量的解釋性，也具工程可行性。實驗上，從兩個擺錘到大規模Vicsek群聚，均展示了純內在驅動能產生非平凡集體行為。對實務而言，這提供一套在缺乏明確獎勵下設計分散式自適應系統的理論基礎，但線性化與高斯假設的適用範圍需在更複雜場景中驗證。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。