深度分析
CRUMB:以 MMD 最小化批次檢索提升先驗適配網路(PFN)推論效能
先驗適配網路在大型表格資料上受限於注意力成本,CRUMB 透過測試查詢聚類與最小化 MMD 的訓練子集選取,將上下文縮減至數十筆,同時保留預測精度,於 TabArena 基準測試中超越均勻抽樣與 MICP,且對共變漂移具韌性。此方法不需重新訓練模型,具備架構無關性,並能在測試端動態調整上下文規模,為大型表格 AI 應用提供更實用的推論方案。
深度分析
先驗適配網路在大型表格資料上受限於注意力成本,CRUMB 透過測試查詢聚類與最小化 MMD 的訓練子集選取,將上下文縮減至數十筆,同時保留預測精度,於 TabArena 基準測試中超越均勻抽樣與 MICP,且對共變漂移具韌性。此方法不需重新訓練模型,具備架構無關性,並能在測試端動態調整上下文規模,為大型表格 AI 應用提供更實用的推論方案。
深度分析
本文回顧公平性不可能性的現代理論脈絡,從再生核希爾伯特空間(RKHS)出發,將多種均值公平準則視為條件平均嵌入的線性約束。作者提出 Pokémon 定理,指出任意有限審核清單都無法完全證明兩群體分布相同,並以 MMD 作為殘差檢驗指標,說明公平表徵學習在基率不等時面臨根本限制。