資料無關知識蒸餾

深度分析

TabKD：以特徵互動多樣性實現資料無關表格模型知識蒸餾

在醫療與金融等隱私敏感領域，原始訓練資料往往無法外流。研究提出TabKD，透過學習與教師決策邊界對齊的特徵分箱，並生成最大化兩兩互動覆蓋的合成查詢。實驗顯示在四個基準資料集與四種教師模型上，TabKD 在 14/16 組合取得最高師生一致性，證實互動覆蓋與蒸餾品質高度相關。