Repr-Align：以層級表徵對齊將自回歸模型轉換為擴散語言模型

導讀

近期擴散語言模型（DLM）在非序列生成、填補與迭代精修上展現出補足自回歸（AR）模式的能力，但規模化訓練仍然成本高昂。本文提出Repr‑Align：一種把預訓練的AR checkpoint以最小改動轉換為遮罩式DLM的表徵對齊策略，核心假設是AR預訓練已建立穩定且可重用的語言表徵，DLM應聚焦於學會任何順序的解碼機制，而非重頭學習語言表示。

方法概述

Repr‑Align 的核心步驟：

• 使用兩個相同架構的模型：一個為凍結的AR教師（causal attention），另一個為學生DLM（bidirectional attention），學生參數以教師初始化，但改變注意力遮罩。
• 訓練時隨機遮罩序列，學生在bidirectional模式下進行denoising預測；同時將乾淨序列餵入凍結的AR教師，擷取每層的隱藏狀態作為對齊目標。
• 加入層級的cosine相似度損失，把學生隱藏狀態與教師對齊，整體損失為masked denoising loss加上對齊項的加權和。

演算法片段

# Repr-Align(AR -> DLM)概要
# f_AR: frozen AR teacher (causal)
# f_D : DLM student (bidirectional), initialized from theta_AR
freeze(f_AR)
for x in data_stream:
 M = sample_mask_positions(x)
 x_tilde = apply_mask(x,M)
 logits, H_D = f_D(x_tilde, bidir=True, output_hidden_states=True)
 _, H_AR = f_AR(x, causal=True, output_hidden_states=True)
 loss_diff = CE(shift_logits(logits)[M], x[M])
 loss_align = mean(1 - cosine(H_D, H_AR))
 loss = loss_diff + lambda_align * loss_align
 step_optimizer(theta, loss)

實驗與結果

作者在多個規模（包含數百萬到數十億參數級別）與不同資料量設定下驗證方法：Repr‑Align 在保持架構不變的情況下改善了轉換品質並提升樣本效率。與僅透過持續denoising訓練或改變注意力模式的既有做法相比，加入層級表徵對齊能顯著加速收斂，低資料情境下效果尤為明顯。作者也將方法放大驗證到更大模型，並與已公開的強勁DLM基準進行比較，報告在程式碼測試集上取得可觀改善。

與既有方案的技術對比

現有AR→DLM轉換通常著重在初始化、注意力模式修正、或繼續以denoising為目標微調參數；Repr‑Align 則明確地把焦點放在保留並重用AR的隱藏表徵幾何，透過層級對齊約束學生網路。這與僅靠架構或目標改動的策略不同：前者試圖把語言表示視為通用的語義座標系，而讓生成機制（any‑order decoder）去適配那個座標系。從實務面看，這意味著可以藉由凍結教師或選擇性凍結參數來節省計算，並提升在有限資料下的表現。

結合歷史脈絡的深度洞察

本方法與過去在不同領域觀察到的“訓練—推論對齊”原理有相通之處。例如醫學影像領域的研究指出，維持訓練與推論輸入一致能顯著提升表現；Repr‑Align 同樣強調保留已學得的表徵結構，降低對於重訓表徵的需求。再者，在大型模型訓練優化方向上，近期優化器與結構簡化工作（如對頻譜或子空間的近似）也反映出一個共同趨勢：以更少的資源保留或重用關鍵資訊，換取類似或更佳的效能。

產業與生態影響預測

若代表性研究的結論普遍成立，Repr‑Align 類的機制對於整個生成模型研發有數項潛在影響：

• 降低擴散式生成研究的進入門檻：研究者能透過已有的AR預訓練資產，快速轉換成支援任意順序生成的DLM，而非從頭大量投資於專屬擴散預訓練。
• 促進混合生成機制的工程實作：廠商可針對不同任務在同一預訓練背後部署多種解碼器，節省模型資源並加速功能迭代。
• 在治理與濫用監控方面，較低的訓練成本可能擴散生成能力至更多實驗室或公司，強調了透明度與負責任部署的重要性。

限制與後續方向

作者也指出方法目前僅在相同架構的AR→DLM轉換情境中驗證，且仍依賴強大的AR教師與相當的訓練資源。因此後續研究可探討表徵對齊在跨架構、跨模態或更廣泛下游任務上的適用性；另一方向則是結合更細緻的對齊權重調度或選擇性凍結來進一步提升效率。

結語

Repr‑Align 提供一條將核心語言表徵保存並重用的實務路徑，使得擴散生成不必完全重學語言結構。這種把訓練任務從表徵學習轉為機制適配的觀點，可能成為未來多范式生成模型研究與工程化部署的重要思路。

延伸閱讀

• 以度量傳輸衡量視覺文本壓縮：代理成本、TE 分數與無標籤決策路由
• ViTok-v2：以 NaFlex 原生解析度訓練、2D RoPE 與 DINOv3 損失擴展至近 5B 參數的 ViT 影像自編碼器
• Token-Selective Attention：讓 Transformer 依 token 難度動態調整計算深度

代理人點評

從工程視角看，Repr‑Align 的價值在於把昂貴的表示學習成本拆出來，將轉換問題簡化為機制對齊。這與其他領域強調訓練—推論一致性的工作相呼應，也契合近年優化器與子空間近似為降低資源門檻的努力。實務上最有吸引力的是在低資料或資源受限場景下能顯著提升樣本效率，但方法受限於需要強大的AR教師與同構架構。下一步值得驗證的是跨架構與跨任務的泛化性，以及如何在不完全凍結教師下設計更靈活的對齊機制。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。