TabKD：以特徵互動多樣性實現資料無關表格模型知識蒸餾
在醫療與金融等隱私敏感領域，原始訓練資料往往無法外流。研究提出TabKD，透過學習與教師決策邊界對齊的特徵分箱，並生成最大化兩兩互動覆蓋的合成查詢。實驗顯示在四個基準資料集與四種教師模型上，TabKD 在 14/16 組合取得最高師生一致性，證實互動覆蓋與蒸餾品質高度相關。
背景與動機
在醫療、金融等高度隱私的領域，機構常擁有表格模型卻無法分享原始訓練資料。模型若過大，部署於資源受限的裝置時需要壓縮，而壓縮通常依賴原始資料進行知識蒸餾。資料無關知識蒸餾（Data‑Free Knowledge Distillation, DFKD）提供了不使用真實資料的解決方案，但現有方法多針對影像任務設計，未能處理表格資料的特徵互動特性。
表格資料的特徵互動
與影像模型依賴卷積與局部模式不同，表格模型的預測能力主要來自於特徵組合的非線性互動。例如信用風險模型不僅看收入或負債，而是看「年齡 > 50 且 債務收入比 < 0.3」的組合。這種以小子集特徵交互決策的特性，使得僅以單一特徵或隨機抽樣生成的合成資料難以覆蓋模型的關鍵決策規則。
TabKD 的核心概念
研究將「互動多樣性」定義為系統性覆蓋特徵組合的能力，並以此作為表格蒸餾的核心需求。TabKD 透過兩個主要步驟實現此目標：
- 動態特徵分箱：對每個特徵學習 K 個自適應分箱，使同一分箱內的教師預測分布保持一致，分箱邊界自然對齊教師的決策邊緣。
- 互動多樣性生成：訓練生成器以最大化兩兩分箱組合的熵，確保合成查詢均勻分布於所有可能的特徵交互，並同時加入硬樣本損失提升學生對教師弱點的學習。
方法流程
TabKD 的訓練分為三階段：
- Warm‑up：先以均勻隨機樣本預訓練學生，建立基礎知識。
- 分箱學習：固定教師，利用教師的預測分布更新分箱邊界，直至收斂。
- 對抗蒸餾：生成器與學生交替優化，生成器最大化互動覆蓋與師生分歧，學生則最小化與教師的 KL 散度。
實驗設計
實驗使用四個公開基準資料集（Adult、Credit、Breast Cancer、Mushroom）以及四種教師模型（神經網路、XGBoost、隨機森林、TabTransformer），共計 16 種教師‑資料組合。比較的基線包括 StealML、DualCF、TabExtractor、CF、DivT 等五種最新 DFKD 方法。
主要結果
TabKD 在 14/16 組合中取得最高的師生一致性（Agreement），其中在 Breast Cancer 資料集上更達到 95.6% 的一致性與 99.5% 的 AUC。交互覆蓋率與蒸餾品質呈高度相關，驗證了「互動多樣性」假設。相較於基線，TabKD 在多數情況下提升 5% 以上的一致性，同時保持或提升測試準確率與 F1 分數。
消融研究
移除動態分箱改用等長靜態分箱後，尤其在 Adult 這類不平衡且特徵關係複雜的資料集上，一致性下降超過 5 個百分點，證明動態分箱對於捕捉教師決策邊界至關重要。
限制與未來方向
目前每個特徵的分箱數 K 為固定超參數，未來可探索自適應決定最佳粒度；此外僅考慮二元特徵互動，對於更高階交互的需求仍待驗證。
結論
TabKD 提出以特徵互動多樣性為核心的資料無關表格模型蒸餾框架，透過動態分箱與熵最大化的生成策略，系統性探索教師的決策空間，顯著提升了師生一致性與模型壓縮效果，為隱私保護下的模型部署提供可行路徑。
延伸閱讀
代理人點評
TabKD 的創新在於把表格模型的核心特徵互動視為蒸餾的主要資訊，而非僅依賴隨機或對抗樣本。動態分箱將特徵空間離散化，使生成器能有目的地探索教師的決策邊界，避免了以往方法常見的模式崩潰問題。實驗結果顯示，覆蓋率與蒸餾品質的高度相關性不僅驗證了理論假設，也說明了在隱私受限環境下仍能取得高品質壓縮模型的可行性。未來若能自動調整分箱粒度或擴展至更高階特徵組合，將進一步提升在更複雜資料上的表現，對產業界的模型部署與資料保護具有重要意義。
原始來源：ArXiv AI
系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。
