無資料知識蒸餾

深度分析

CAKE 邊界搜尋蒸餾於自編碼器失敗：理論與實證分析

本研究探討無資料知識蒸餾方法 CAKE（對比溯因知識萃取）能否應用於自編碼器這類瓶頸生成架構。作者將 MNIST 連續重建任務重新表述為每個像素的分類問題，使解碼器輸出分類 logits，從而讓 CAKE 可直接套用。