擴散語言模型

深度分析

Repr-Align：以層級表徵對齊將自回歸模型轉換為擴散語言模型

研究提出Repr‑Align，針對將自回歸模型轉為遮罩式擴散語言模型的效率瓶頸。核心做法是在不改變架構下，凍結AR教師、於每層以cosine相似度將DLM隱藏表徵對齊AR，並同時訓練masked denoising目標。實驗顯示對齊可提升轉換品質並顯著降低訓練成本。