隱蔽特徵傳遞

深度分析

從 CTP 到 CTBE：共享初始化與表徵對齊在模型蒸餾與 LLM 微調中的影響

研究指出，當教師與學生模型共享初始權重且學習率足夠小時，即使學生只接受純噪音訓練，也能繼承教師的數字分類能力。此現象被稱為隱蔽特徵傳遞，核心機制是表徵對齊而非資訊傳遞。實驗顯示，凍結輸入投影會破壞傳遞，而凍結輸出投影則不影響，證實幾何對齊是關鍵。