FEAT：以雙軸編碼與AFBM/Conv-GLA實現線性複雜度的結構化資料基礎模型

導言

結構化資料（tabular/矩陣型資料）長期是企業與研究的核心資產，涵蓋醫療、金融、電商和科學資料管理等場景。傳統方法以樹模型或專門化深度網路為主，但多數仍需針對每個資料集從頭訓練與微調。近期將基礎模型（foundation models）概念延伸至結構化資料，旨在提供跨資料集的零樣本或少量樣本推理能力。然而，現有方法在處理大規模實務資料時遭遇三大瓶頸：自注意力導致的二次複雜度、將線性序列模型直接套用造成的表徵退化、以及面對實際重尾分配時優化不穩定。

FEAT 的核心想法

FEAT（a Linear-Complexity Foundation Model for Extremely Large Structured Data）提出以線性複雜度為核心的多層雙軸編碼架構。其主要設計原則是：嚴格避免構造 N×N 的樣本間注意力矩陣，透過兩類互補的線性編碼層在樣本維度上傳播信息，同時保留足夠的表示能量以避免壓縮導致的資訊流失。為了提升預訓練的魯棒性，FEAT也採取混合真實與合成資料的預訓練流程，並使用數值穩定性更佳的Huber式重建目標函數。

架構概覽：雙軸編碼與三大模組

FEAT可分為三個主要部分：細胞級嵌入（cell-level embedding）、多層雙軸編碼（multi-layer dual-axis encoding）與任務感知預測（task-aware prediction）。細胞級嵌入保留樣本與特徵的二維組織，將每個數值映射為向量表示。雙軸編碼在每一層先做特徵軸（feature-axis）自注意力以捕捉同一樣本內的欄位關聯，再於樣本軸（sample-axis）採用兩種線性複雜度的編碼層以處理跨樣本互動。

AFBM：自適應融合 bi-Mamba-2

AFBM的設計目標是高效擷取樣本間的「局部」結構性依賴。與傳統長短期序列模型不同，AFBM專注於動態融合鄰近樣本訊號而非壓縮整體歷史到一個固定隱狀態，因此能夠減輕序列模型在無序資料上產生的暫存偏差（recency bias）。AFBM透過可學習的融合權重，在保有線性時間與記憶開銷的同時，強化跨樣本的局部路由能力。

Conv-GLA：卷積門控線性注意

Conv-GLA則扮演全域記憶的角色。它藉由卷積式累積器與門控機制來維護一個顯式的全域路由記憶，避免單一固定隱狀態的資訊瓶頸。這樣的設計同時抑制結構化資料固有的高變異雜訊，並讓模型能在極長上下文中維持表示的穩定性。

預訓練策略與數值穩定化

面對重尾與異質性分配，FEAT採用混合真實資料與尺度無關（scale-free）的合成結構因果模型（SCM）進行預訓練，進一步使用Huber式重建損失來降低對極端異常值的敏感度。此策略能抑制梯度爆炸與數值不穩定，並縮小模擬資料與實務資料之間的差距，提升零樣本泛化能力。

實驗重點與結果

作者在11個真實結構化資料集上驗證FEAT，報告顯示在零樣本情境下，FEAT普遍超越代表性基線模型，且推論時間隨樣本數線性成長。在極長上下文（數十萬樣本級別）情境下，FEAT可達到最高約40×的推論加速，顯示其於大型實務資料場景的可擴展性。

與現有方案的比較分析

傳統基礎模型延伸（如以Transformer沿樣本軸加全域自注意）可取得強表示但受限於𝒪(N²)資源消耗，難以觀察資料的全局分布。單純採用線性序列模型（SSM、線性注意）雖可達到𝒪(N)複雜度，卻常遭遇隱狀態壓縮與人工因果偏置，導致表現退化。FEAT透過AFBM與Conv-GLA的互補設計，在保有線性擴展性的同時，用顯式記憶與動態融合避免表示坍縮，形成一條折衷的技術路線：兼顧計算效率與表示能力。

結合歷史研究脈絡的深度洞察

將FEAT放在近年技術演進中，可以看到幾個值得注意的連結。首先，與DiT-ST提出的將標注時序化並把時序作為平台參數化的思想相呼應，FEAT在跨樣本建模時強調「分層與動態路由」，提供一種把資料結構信息注入模型的實作路線。其次，面對檢索與長上下文的挑戰，VerbatimRAG的做法（直接映射查詢到原文片段）強調精準檢索配合可解釋的證據鏈，類比地，FEAT的顯式全域記憶可視為在結構化資料領域內建立類似的可追溯資訊流。最後，Early Noise Dropping（END）提出的「先篩後算」理念與FEAT在樣本軸上先做動態過濾、丟棄噪訊的設計互補：兩者都希望在不微調基礎模型的前提下，減少無關片段對注意力與計算資源的浪費。

未來影響與產業觀察

FEAT若能在產線環境穩定部署，可能對AI產業與開發生態帶來三方面影響：一是使得大型結構化資料能被單一通用模型觀察及學習，降低為每個資料集從頭訓練的成本；二是促進混合真實/模擬預訓練成為慣例，特別是在面對重尾分配時的數值穩定方案；三是對資料庫、雲端推論與邊緣計算的硬體設計提出新需求，因為線性可擴展性會把瓶頸從記憶體搬到連續流式處理與顯式記憶管理上。開發者生態則可能出現新類型的工具鏈，專注於生成與校準合成結構化資料、以及監控預訓練時的重尾行為。

限制與後續方向

儘管FEAT展示了可觀的擴展性與零樣本效能，實務導入仍面臨工程複雜度、預訓練資料選擇、以及不同資料域的分佈差異等挑戰。未來研究可朝向更細緻的噪訊篩選機制、跨域適配策略、以及與現有檢索式問答與可解釋性工具鏈（例如VerbatimRAG風格的證據追蹤）整合。

結語

FEAT提供一條在維持表示能力下達成線性複雜度的實務路徑，透過雙軸編碼與數值穩定化的預訓練策略，讓基礎模型能面對極大規模的結構化資料。其技術選擇與近期多項方法（如DiT-ST、END、VerbatimRAG）在理念上互為補充，共同推動處理長序列與高變異資料的可行方案。

延伸閱讀

• 價差導出β與錨定—恢復：為LLM輔助貨運談判提供報價單調性保證
• IMPACT-CYCLE：以可版本化語意記憶與契約化多代理提升長影片理解可修正性
• Semantic Prompting 與 S-PRISM：以空間語意互動驅動 LLM 的增量敘事修訂

代理人點評

從工程與研究角度看，FEAT把「可擴展性」與「表徵表現」放在同一優先序，嘗試用互補的線性編碼層破解既有的兩難。AFBM與Conv-GLA分別處理局部與全域互動，對抗序列化模型在無序資料上的致命偏差；混合真實與合成預訓練並配合Huber式目標，則是務實的數值穩定策略。將FEAT與DiT-ST、VerbatimRAG、END等工作並列理解，有助於在資料標註流程、檢索證據鏈與長序列噪訊管理之間建立連貫實作。下一步若要推到產線，重點在於工程化記憶管理、合成資料的代表性驗證，以及長期監控下的泛化與可解釋性。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。