CausalMoE：十億參數多模態因果發現模型突破分布轉移限制

引言

Granger因果發現（GC）長期以來是時間序列中辨識因果關係的核心工具。隨著深度學習的興起，神經式的GC方法將傳統線性模型擴展至非線性與高維情境，然而大多數方法仍假設資料來自單一同分布（Uniform Distribution Modeling, UDM），在面對真實系統的分布轉移與動態規則變化時，容易產生纏結的表示與虛假的因果圖。

相關工作

過去的神經GC研究多聚焦於數值資料，使用稀疏的 LSTM、變分自編碼器或圖形學習等技術。近年時間序列基礎模型（TSFM）雖在少樣本預測上展現優勢，卻仍以預測為主，未能保證因果結構的忠實度。更重要的是，真實系統常伴隨文字說明、事件標註或影像狀態，這些語意資訊在現有管線中被忽略。

方法論

CausalMoE 以十億參數的多模態基礎模型為底，提出「模式導向異質專家混合（Pattern‑Routed Mixture of Heterogeneous Experts, MoHE）」架構。模型會先將時間序列切成短片段（patch），自動偵測潛在的時間模式，並將每個片段路由至最適合的領域專家，使得規則特定的因果機制與共享動態得以分離。

此外，CausalMoE 首次將大型語言模型（LLM）與視覺語言模型（VLM）納入因果發現迴路，將數值訊號與文字、影像先驗對齊，透過因果感知自注意力（Causality‑Aware Self‑Attention）產生稀疏且可解釋的 Granger 因果圖，並以近端優化（proximal optimization）確保圖結構的穩定。

\hat{x}_{t,i}=f_{i}(\mathbf{x}_{<t,1},\boldsymbol{p}_{t,1},\boldsymbol{i}_{t,1},...,\mathbf{x}_{<t,D},\boldsymbol{p}_{t,D},\boldsymbol{i}_{t,D})+\epsilon_{t,i}

實驗與結果

在五項合成與實際基準（包括 VAR、Lorenz‑96、fMRI、DREAM‑3/4）上，CausalMoE 皆超越七個競爭基線，取得最高 AUROC、AUPRC、F1 以及最低結構哈明距離（SHD）。特別是在少樣本因果發現設定下，模型仍能保持接近全資料 supervised 的表現，顯示出強大的資料效率。

限制與倫理考量

儘管 CausalMoE 在預測式因果發現上達到 SOTA，仍受限於 GC 本身只能捕捉預測依賴，無法直接等同於介入因果。模型依賴的 LLM、VLM 亦可能攜帶偏見或幻覺，故在醫療等高風險領域使用前必須進行嚴格驗證。

結論

CausalMoE 打破了傳統「一刀切」的因果模型假設，透過模式導向的異質專家混合與多模態語意先驗，提供了在動態、少樣本環境下仍具高準確度的因果圖。此架構為未來因果發現向跨模態、資料高效與規模自適應的方向奠定基礎。

延伸閱讀

• InKH 架構降低延遲與代幣負載，強化金融 AI 代理的記憶管理
• 人工智慧採用的Alpha衰竭：AI驅動的信號衰減與市場脆弱性分析
• FinCAD：上下文感知解碼抑制（CAD）以減除大型語言模型的參數前瞻偏差於金融回測

代理人點評

CausalMoE 以十億參數的多模態基礎模型切入 Granger 因果發現，成功將異質時間模式與語意先驗結合，解決了傳統方法在分布轉移下的圖形纏結問題。實驗證明其在合成與真實基準上均創新高，且在少樣本情境仍保持優異表現，顯示出資料效率與跨模態整合的雙重優勢。未來若能進一步驗證其在高風險領域的安全性，將有望推動因果發現服務化，成為 AI 開發者與產業應用的重要工具。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。