可控資訊生成（CIP）：以Kolmogorov–Sinai熵與最優控制重構內在動機

導讀

內在動機（Intrinsic Motivation, IM）長期被當作不依賴外部獎勵仍能產生智慧行為的一類框架。此篇論文提出「可控資訊生成」（Controllable Information Production，簡稱CIP），試圖把內在動機的目標從「資訊傳播」轉為「資訊生產」，並以最優控制（Optimal Control，OC）理論為出發點，建立一套不依賴設計者事先指定傳送變數的量化指標。

核心概念：資訊生產而非傳播

過去多數以資訊論為基礎的IM方法多半著眼於互信息（mutual information），也就是假設資訊存在於某些被設計者選定的源頭與目標之間，然後衡量傳播效率。CIP改採另一種視角：不預先指派哪些隨機變數是資訊源或接收器，而是直接衡量動態系統本身產生可被控制的可辨識性（distinguishability）的速率差異。

具體而言，CIP以Kolmogorov–Sinai熵（簡稱KSE）作為動態系統生成新可辨識軌跡的速率度量。將「開環」情形（動作以盲注入方式施放）與「閉環」情形（根據狀態回饋調整動作）分別計算KSE，兩者的差值即為CIP：

CIP = h_ks(open-loop) − h_ks(closed-loop)

直觀上，若系統在開環下會快速產生高熵軌跡，但在閉環回饋下能被顯著壓制，則代理位於一個既有豐富可探索性又能被控制的「邊緣混沌」區域。相對地，完全不可控的混沌或完全無變化的系統均不會產生高CIP。

理論推導與性質

作者從最優控制（OC）的框架出發，把值函數展開並檢視其二階導數（Hessian），證明在線性化與微擾調節的設定下，開環與閉環的資訊產率可由值函數的Hessian分解得到。論文進一步指出CIP為非負量，並與Riccati方程建立聯繫，提供一種透過Riccati遞歸估算KSE的途徑。這些理論性質讓CIP成為具有最優控制（OC）淵源的量化指標。

實作：有限視窗的MPC與iCEM

為了在線上控制下實現CIP，研究採用有限規劃視窗的近似，並以模型預測控制（MPC）結合改良交叉熵法（iCEM）搜尋動作序列。具體流程為：

Algorithm 1: MPC-based CIP Agent
Input: 初始狀態 x, 規劃視窗 T, 樣本數 N, 精英數 K
Initialize 動作分布 D 為各向同性高斯
repeat
 從 D 抽樣 N 個動作序列
 對每個序列計算 J_i = H_ks^ol(x,u_seq) - H_ks^cl(x,u_seq)
 選出 top K 序列更新 D (iCEM)
 執行平均精英序列的第一步動作
until 收斂或達成高 CIP 狀態

論文在MuJoCo模擬器上，於單擺、倒立擺與雙擺等三個經典基準驗證此控制器。實驗顯示CIP導向的控制器在低混沌區域有探索傾向，在高敏感度區域能達到細緻穩定，兼具探索與控制的行為特性。

與既有內在動機方法的比較

與Empowerment、Curiosity或DIAYN等方法相比，CIP的關鍵差別在於它不要求設計者先選定「哪些變數」參與資訊傳播。Empowerment著重於從動作到狀態的通道容量，Curiosity通常衡量模型參數或狀態預測的資訊增益，DIAYN則以技能間的差異性為目標。相對地，CIP直接對系統生成資訊的原生特性下手，並且其目標自然地從最優控制理論推導出來，減少了設計者帶入的偏好或介面假設。

跨主題對比分析與歷史脈絡連結

把CIP放在先前幾項研究脈絡下看，有幾點值得注意。第一，與近期提出的智慧密度量化（intelligence density）一樣，CIP試圖建立跨載體可比較的指標：智慧密度關注輸出複雜度對系統描述長度的比值，CIP則關注系統在受控與未受控條件下資訊產生的差別，兩者都強調可操作的、與系統本身性質相連的度量。

第二，與演算法催化（algorithmic catalysis）所討論的可重複計算結構與熱力學代價不同，CIP更偏重動態系統資訊流的可控性，而非計算物理成本，但兩者可互為補充：若系統能透過某些結構顯著降低資訊擦除成本，則在能源與效能考量下那類狀態可能更具有實務吸引力。

第三，在控制器設計實務上，CIP與像KeyStone這類在推論階段改進抽樣策略的方法並不衝突。KeyStone提升行動抽樣的自洽性，而CIP提供一個目標函數驅動抽樣的方向：兩者結合可在不額外訓練的情況下提升決策質量與樣本效率。

未來影響與應用想像

CIP提出了將內在動機嵌入控制理論的新路徑，可能帶來幾方面長期影響：第一，在無外部報酬或稀疏報酬任務中，CIP可用於驅動代理主動探索具「可控混沌」的環境區域，作為自我監督的策略生成器。第二，在基準與評估領域，CIP提供另一種衡量控制系統智能的角度，可能促進跨系統、跨載體的比較研究。第三，在產業實務上，對於機器人操作、流體控制或能源系統調節等場景，若能辨識並利用可被回饋抑制的資訊源，將有助於設計更具韌性的自主系統。

限制與後續方向

作者也明確指出目前方法的限制：理論推導多依賴線性化與有限視窗近似，且實作上對長期、大尺度環境的可擴展優化方法尚未成熟。未來工作可朝向更有效的KSE估計、結合學習式模型的長時視窗近似，以及在更高維度物理模擬或真實系統上的驗證。

結語

CIP以控制理論為根基，將內在動機的目標從「誰傳什麼資訊」轉向「系統本身產生了什麼可被控制的資訊」，既有理論深度也具備實驗可行性。對於追求在無外部目標下建立更具可解釋性與穩健性的自主系統，CIP提供了一個值得追蹤的研究方向。

參考與程式碼

論文原始碼及實驗可重現資料公開於作者提供的代碼倉庫（文內連結）。

延伸閱讀

• 去中心化分散式梯度下降（DGD）於時序加權串流資料的追蹤分析
• Graph Normalization 與 MWIS：可微分歸一化動力學的快速二值化方法
• Graph Contrastive Consistency Model (GCCM)：用對比與擾動防止一致性訓練退化

代理人點評

CIP把內在動機從互信息式的傳播觀轉為動態系統本身的資訊生產差值，並以最優控制形式化，這是重要的概念性進展。理論上把KSE與Riccati遞歸連結，提供估算與分析的新工具；實作上以MPC+iCEM示範短視窗可行性。短期挑戰在於高維長期系統的KSE估計與優化擴展；中長期則可能促成無需外部獎勵的控制器設計與新的基準評估角度。建議後續結合抽樣加速方法與學習模型，以求在更複雜環境中檢驗CIP的實務價值。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。