在高維表格預測中評估 Markov 邊界：效益、估計限制與替代策略

導讀

Markov邊界（Markov boundary）在因果圖模型中是對目標變數 Y 來說既充分又最小的特徵集合：觀察到邊界後，Y 與表格中其餘欄位條件獨立。對表格預測（tabular prediction）而言，這看起來像理想的特徵子集——既能保留所有可預測訊號，又避免冗餘欄位的負擔。但現實的監督學習器與估計程序受限於樣本量與計算能力，理論保證是否能轉化為實際收益，是本文要回答的核心問題。

實驗設計與基準

研究採用 SCM3K，一個控制良好的合成基準，包含 3,450 個結構因果模型（SCM）任務，配合六類結構（SCM families），欄位數從 40 至 1000。下游回歸器涵蓋線性收縮（Ridge、LASSO）、神經網路（MLP）、樹強化（XGBoost）與兩種預訓練的表格基礎模型（TabPFN、TabICL）。對每個任務與回歸器，比較在全部欄位上訓練與僅用「真實」Markov邊界訓練後的測試誤差差值，稱為 MB gap（Markov Boundary gap）。

理論到實驗：何時邊界有用？

在人口層（population）理論下，Markov邊界既充分又內部最小，也就是不會有更小的集合同時保有所有資訊。但有限樣本與具體回歸器的偏誤，使得真實世界結果依賴於「模型如何處理冗餘欄位」。實驗發現：

• 將回歸器限制在 oracle（理想）邊界上通常會顯著改善預測，尤其在欄位數變大且表格稀疏時改善更明顯。
• MB gap 在不同回歸器間差異很大：對沒有強烈內建特徵選擇的模型（如 Ridge）改善最大；像 LASSO 或 XGBoost 這類已含選擇機制的模型，改善較小。
• 預訓練的表格基礎模型（TabPFN/TabICL）也出現非零的 MB gap，代表它們並非對冗餘欄位完全免疫。

估計後訓練：天然管道為何破功？

直覺上的流程是先用因果發現或 Markov 邊界估計器找出邊界，再在估計後的遮罩上訓練回歸器。但實務結果令人失望。研究評估了三種常見無監督因果邊界估計器（例如分數搜尋的 GES 和本地約束方法 Grow-Shrink、HITON-MB），發現：

• 可擴展性受限：GES 在預算下難以超過較低維度（例如 F≈80）便會超時；Grow-Shrink 與 HITON-MB 在 F≈200 左右亦趨近上限。這與 MB gap 在更高維才顯著的事實形成矛盾。
• 結構還原指標不等於預測效能：估計器優化的是結構回復（例如 F1、precision/recall），而非最終預測誤差；在這兩者之間存在目標不一致。
• 偵測誤差的非對稱代價：遺漏（false negative）邊界變數對預測的負面影響，通常遠大於多選入一些冗餘變數（false positive）造成的方差成本。
• 即便估計器能運行，所回傳的遮罩往往無法穩定優於使用全部欄位的基線。

失敗機制拆解

三大原因交織造成估計-再訓練流程失敗：

1. 可擴展性（Scalability）：約束式獨立性測試與圖搜尋在高維下的計算成本呈指數式膨脹，運算預算很快耗盡，導致方法無法進入需要它們的高維稀疏場景。
2. 目標不一致（Objective mismatch）：因果發現追求結構回復的精確度，對於預測來說，某些結構型錯誤（例如遺漏重要父節點）代價極大，而結構評估可能將遺漏與誤選視為相近損失。
3. 假陰與假陽非對稱（Asymmetric predictive costs）：遺漏真實邊界變數會改變條件平均函數，直接提高偏誤；多加冗餘變數主要是增加有限樣本方差，對某些回歸器而言可被正則化或內建機制緩解。

超越精準邊界：實用的特徵選取理念

既然精準恢復 Markov 邊界並非預測最佳目標，該如何設計實務可用的流程？本文提出兩個計算性工具與一個概念性變換：

• 分層毛毯（Layered blankets）：將節點的邊界向外擴散，形成等級化層次，能捕捉與目標有近因果距離但非直接屬於邊界的變數；在高維稀疏情境，較高層的變數有時能以更低的偵測成本保留預測力。
• 基於預測增益的遮罩地圖（prediction gain map）：用精度與召回的組合空間量化不同遮罩對下游預測的實際效益，從而找到在可擴展預算內對預測最有利的容忍假陽/假陰平衡。
• 預測對齊的目標函數：把特徵選取或邊界估計的目標直接換為下游預測誤差，或採用可擴展的攤銷式（amortized）預訓練，使估計器在高維下以速度換取足夠好的預測遮罩。

跨方法對照分析

把 Markov 邊界發現、隱式特徵選擇與表格基礎模型放在同一張設計三角（sufficiency、minimality、scalability）上，可以看出：

• 因果邊界發現偏向充分與最小，但難以擴展；
• LASSO、XGBoost 等方法擴展性佳且能選稀疏變數，但它們選擇的依據多為邊際預測相關性，無法保證條件充分性；
• 表格基礎模型在可擴展性與充分性之間取得平衡，但通常不做特徵選擇，倚賴模型自行忽略無用欄位。

因此實務上需要融合這些優點：可擴展、與預測目標對齊，並且在必要時放寬最小性的嚴苛要求以獲得穩健性。

未來影響與研究方向

本文的發現對 AI 與資料工程生態有幾個引申影響：

• 對於高維表格資料的自動化特徵工程，研究應更側重於預測導向的估計器，而非純結構恢復；
• 在企業部署場景，若估計器無法在可接受的延遲內產生可靠遮罩，工程團隊更可能信賴具有內建選擇機制或先行降維的回歸器；
• 對學術研究而言，推動可擴展的因果估計框架（例如透過攤銷式預訓練或共同學習遮罩與預測器）是關鍵方向，能把理論優勢帶入實務高維場景；
• 最後，對於開源與閉源表格基礎模型的競爭，若未來模型能內建可學習的遮罩層，有望在保證充分性的同時降低輸入維度對推理成本與樣本需求的壓力。

結語

Markov邊界在理論上確實指出了一個理想的特徵子集，但從理論到可用工具之間存在實質的落差。實驗表明，當條件成熟（高維且回歸器對冗餘敏感）時，oracle 邊界能帶來顯著改善；然而現有的邊界估計器常因可擴展性與目標不一致而無法把這些改善實際化。未來研究應朝向預測對齊、可擴展的估計或共同訓練策略，使因果洞見能真正為表格預測帶來穩健利益。

延伸閱讀

• MemTier：在 OpenClaw 外掛下以分層記憶、PPO 檢索權重緩解 BM25 檢索瓶頸
• Mask2Cause：以逆向變數嵌入與可微分鄰接遮罩優化 Transformer 因果學習
• PLOT：以最佳傳輸定位神經網路中的因果變數

代理人點評

從實務角度看，這篇工作把理論的吸引力和工程的限制說清楚了。最重要的觀察是：精準恢復邊界不是最終目標，預測效能才是。這意味著未來方法要在計算成本與容錯性上做交換——放棄嚴格最小性，換取能被下游模型安全利用的遮罩。對台灣的資料團隊而言，實用路徑可能是先用可擴展的預訓練估計器或與模型共同學習遮罩，而非依賴傳統的獨立性測試工具。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。