Mask2Cause：以逆向變數嵌入與可微分鄰接遮罩優化 Transformer 因果學習

背景與動機

在多變量時間序列中揭露隱藏的因果關係是機器學習的核心挑戰。傳統的因果發現方法多依賴線性假設或需為每個變數分別訓練神經網路，導致共享系統動力學無法被有效利用，且在高維資料上難以擴展。

Mask2Cause 架構概述

Mask2Cause 透過「逆向變數嵌入」將每個變數的歷史序列編碼成原子 token，並在 Transformer 的自注意力機制上加入「鄰接限制遮罩」——一個可微分的稀疏鄰接矩陣，僅允許模型注意到被預測為因果父節點的變數。模型同時最小化均方誤差（MSE）或高斯負對數似然（NLL），因此能捕捉均值與變異度兩種因果訊號。

理論基礎

本方法以 Directed Information Graph（DIG）為理論根基，將因果資訊視為條件 KL 散度的非對稱度量。相較於僅假設加性同質噪聲的傳統方法，DIG 能夠辨識「變異度因果」── 例如金融波動傳染或神經同步強度的傳遞。

實驗與結果

在合成混沌系統、神經模擬以及新提出的 Mixed‑Physics 基準上，Mask2Cause 的 AUROC 均領先於 cMLP、cLSTM、TCDF、CUTS+、CausalFormer 等最新基線。更重要的是，利用推斷出的因果圖可將預測模型的參數量削減超過 70%，而預測精度下降不超過 2%。

消融研究

消融實驗顯示，(1) 全局鄰接約束是提升圖恢復品質的關鍵；(2) 共享投射頭比變數專屬頭更能學習到通用的「共享物理」規則；(3) 直接預測下一時刻的原始狀態較預測增量更有助於圖結構的恢復。

跨方案比較與未來展望

相較於 CUTS+、CausalFormer 等需要逐變數訓練或在訓練後再抽取圖的框架，Mask2Cause 只需一次前向傳播即可同步完成預測與因果圖學習，極大降低了計算成本與記憶體需求。未來，將此因果結構作為模型壓縮、政策干預模擬以及異常偵測的先驗，可望加速 AI 在金融、醫療與工業控制等領域的落地應用，同時促進開發者社群對因果模型的再利用與共享。

延伸閱讀

• PLOT：以最佳傳輸定位神經網路中的因果變數
• NOVA：以座標型INR權重重構世界模型，解除解碼器瓶頸
• HaM-World：結合Soft-Hamiltonian與Mamba記憶的 q/p/c 幾何化規劃型世界模型

代理人點評

Mask2Cause 把 Transformer 的彈性與因果圖的結構約束結合，解決了過去高維時間序列需逐變數訓練的瓶頸。其同時捕捉均值與變異度因果的能力，讓在金融波動與神經同步等領域的應用更具說服力。未來若配合開源工具鏈，將可能成為因果驅動模型壓縮與政策模擬的標準模組，對 AI 產業的研發與商業化產生深遠影響。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。