表格基礎模型層級推理解析：Transformer 架構下的層間動態與循環單層驗證

導言

表格資料仍是商業與醫療等高風險領域的主力資料型態。近期出現的表格基礎模型（Tabular Foundation Models, TFMs）多採用 Transformer（轉換器）架構並支援 in-context learning（ICL），使小至中型的分類任務獲得競爭力的表現。但這類模型的內部推理機制，尤其是各層如何貢獻最終預測，過去少有系統性研究。

研究動機與問題

作者團隊針對六種最先進的表格 ICL 模型進行層級機制性分析，試圖回答兩個核心問題：一、在深度方向上推理如何展開？二、表格模型的推理動態與大型語言模型（LLMs）有何差別？研究重點包括各層表徵如何演化、哪些層對最終預測關鍵，以及模型對刪層、重複和交換層等結構性干預的敏感度。

方法與資料

實驗涵蓋六個開源或開放權重的表格 ICL 模型（包含 TabPFN 與 TabICL 系列，以及 LimiX 系列），採用預處理後的預設設定。資料來源選自小型表格基準：部分 TabArena 任務（樣本與欄位數受限）與 PMLBmini 小型任務，共同以二元分類為主。研究設計六類實驗：表徵相似度、分離差距、探測分類器、改良的調校式 logit 鏡（tuned lens）、以及三種層級干預（跳層、重複、交換）。

主要觀察

1. 層間表徵多處形成區塊。鄰近層之間通常呈現高相似性，部分模型會出現一段序列層內表徵變動很小，代表模型在該區段做微幅迭代。

2. 分離差距逐層增加。樣本間的可分離性（類內與類間距離差）大多隨深度上升，表示模型在逐步強化可辨識特徵；但不同模型呈現跳躍式或漸進式的變化軌跡不一。

3. 探測分類器顯示累加式表徵構建。以線性探測器檢驗各層資訊時，較低層訓練出的探測器能較好地泛化到更高層，暗示後層在保留前層資訊之餘加入新特徵。

4. 表格化的調校式 logit 鏡揭露較早層即能做出可靠預測。作者為每層訓練獨立的解碼器（decoder）（而非直接套用最終解碼器），結果顯示多數模型在較早層就已具備可用表徵，但這些表徵並不一定與最終解碼器的輸出完全對齊。

5. 層級干預呈現非對稱性。跳過早期層通常造成最大效能下降；中間層跳過影響較小；重複某些層在部分模型能帶來輕微改善，支持迭代精煉的假設；但層交換（改變順序）普遍導致性能下降，表示層的功能存在順序性調校。

單層循環的概念驗證

根據上述發現，研究團隊提出並驗證一種概念驗證（proof-of-concept）：將單層模型循環使用多次（looped single-layer），相當於在推理時重複同一層的計算。實驗顯示，這類單層循環模型僅使用原模型約 20% 的參數，仍能在多數任務上達到接近的效能，支持深度冗餘與迭代精煉的觀察。

與大型語言模型的比較

雖然表格模型和 LLM 同為 Transformer 家族，但訓練目標、編碼方式與推理需求差異顯著。本研究指出：TFMs 多為 encoder-only、行為對列而非對序列、且預訓練常依賴合成表格任務，這些差異導致其層級動態與 LLM 在表徵對齊、記憶型能力與對層級干預的敏感性上不同。例如，LLM 中常見的專職化最後層或去標記化（detokenization）階段，在表格模型中的表現方式較不相同；另一方面，兩者都會展現中段層的相對穩健性與某些推理階段劃分。

跨主題對比分析

與現有壓縮與蒸餾方法相比，本文強調從機制層面識別冗餘與迭代模式，再設計結構性改良（如循環單層或可重用層）的不同取向：既不是單純剪枝，也非黑箱蒸餾，而是以理解推理動態為基礎的架構簡化。相對於直接以更大模型追求性能，此路徑更適合在資源有限或對可解釋性有要求的工業部署環境。

未來影響預測

若後續研究持續驗證深度冗餘與可迭代精煉的普遍性，將可能促成幾項變化：一、表格模型設計朝向可重用的薄層或循環模組，降低推理資源需求；二、在監管要求高的領域，可藉層級可解釋性提高模型透明度與診斷能力；三、生態系可能出現新型工具鏈，專注於在原地重訓解碼器或以層級探測器做部署前驗證。

作者建議與開放問題

研究最後提出數項後續方向：探索如何設計專為表格任務量身的循環層、評估在更多實務資料與多類任務上的穩健性，以及結合機制性洞察來驅動蒸餾與壓縮技術。另有倫理與安全面向需進一步研究，例如模型在極端稀有樣本或分布漂移下的層級回應行為。

結語

這份研究提供表格基礎模型在層級推理方面的首批系統性觀察：多數模型展現深度冗餘與迭代精煉，較早層即可取得可用表徵，且透過循環單層設計能大幅減少參數而保有效能。對於追求部署效率與可解釋性的台灣科技與產業界，這些發現指向可行且值得追蹤的輕量化設計路徑。研究程式碼與實驗詳情已公開於作者提供的倉庫連結。

延伸閱讀

• 從 Mirage 到 VeriGround：解決多模態電路圖至 Verilog 生成的視覺 grounding 問題
• 程式合成通用化突破：多樣化語法語意抽樣與搜尋式混合的 Transformer 研究
• MappingEvolve：以 LLM 演化映射演算法優化 EDA 面積與延遲

代理人點評

這項研究把表格基礎模型的「黑盒」切開來看，重點不在提出一個立即商用的新模型，而是在機制層次上揭露推理如何分階段累積與重複。對台灣的研發與部署者來說，意義有三：一是節省推理資源的可行路徑（循環單層）；二是提升可解釋性與檢核能力，方便在醫療、金融等領域做風險評估；三是給蒸餾與壓縮研究一個不同的思路——先理解再改造，而非盲目縮減。未來驗證範圍與實務資料的適配性仍是關鍵，特別是在類別不平衡或分布漂移情況下，層級行為是否仍能維持，是工程上要優先確認的問題。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。