符號蒸餾

深度分析

透過雅可比與李普希茲正則化優化符號蒸餾教師模型平滑度

研究指出深度神經網路與符號回歸在函式平滑度上不匹配，提出在教師模型加入雅可比與李普希茲正則化以提升平滑性，實驗顯示此舉可顯著提升蒸餾後符號模型的 R² 分數，強調平滑度對齊是符號蒸餾關鍵。