Orthrus 在 Transformer 內以雙視角共享 KV 快取實現平行標記生成

導讀

自回歸（AR）大型語言模型在精準性上長期領先，但解碼階段的逐步生成造成明顯的序列瓶頸，導致硬體資源低利用與高延遲。擴散語言模型能以區塊並行產生標記，換得推論速度，但在品質與訓練成本上往往不及 AR 基線。Orthrus 提出帶有「雙視角」的結構化解法：在同一個 Transformer 內同時保留 AR 視角與插入一個輕量擴散生成視角，兩者共享同一份高保真 Key-Value（KV）快取，並以內部共識機制保證損失為零的推論一致性。

核心設計概念

Orthrus 的關鍵在於功能分工與資源共享：將預填（prefill）過程交給凍結的 AR 主體執行，以一次前向傳播建立完整的 KV 快取；而平行生成則由新增、可訓練的擴散 attention 模組負責。擴散視角在生成時把第一個由 AR 解碼出的啟始標記與多個<mask> 位置結合成一個並行區塊，同步注意（attend）該共享 KV 快取與區塊內的雙向自表示，以一次前向計算輸出 K 個候選標記。

為了確保與基礎 AR 模型的預測分布完全相同，Orthrus 引入兩頭內部共識（intra-model consensus）：擴散視角提出並行候選後，凍結的 AR 視角以單次前向驗證這些候選軌跡，僅接受與基線一致的標記並將其 KV 狀態追加到共享快取。此流程在保證「損失為零」的同時，將生成順序和並行執行解耦。

架構輕量與資源效率

在實作上，每層 Transformer 附加的擴散 attention 模組以從 AR 對應矩陣初始化，且僅微量參數需要訓練。作者報告約有 16% 的參數被微調，用來學習將擴散視角的並行預測蒸餾到 AR 教師的分布。此外，由於擴散視角重用預填階段現有的 KV 表示，歷史 KV 並無額外副本，達成幾乎零額外歷史快取記憶體開銷的設計目標。

訓練與推論流程

訓練期間，AR 路徑處理乾淨的上下文以建立目標分布，擴散路徑則在損毀的並行區塊（anchor + <mask>）上學習以逼近該分布。以 forward KL（軟標）作為蒸餾目標，可促使擴散頭學到完整預測分布，而非只對硬標籤過擬合。推論時，擴散頭一次性輸出 K 個候選，AR 頭則以單趟前向驗證並接受合格標記；通過這個雙階段機制，Orthrus 在保持精確性的前提下大幅提升每次前向可產出的有效標記數（TPF）。

實驗重點與結果

作者在 Qwen3 家族不同規模模型上驗證系統可行性，並報告透過選取 K=32 的平行區塊配置，系統在特定數學與結構基準上觀察到最高達 7.8× 的加速（對照序列式生成基線），而在多數配置下可保持與原始自回歸模型完全一致的預測分布。訓練使用序列打包與平衡資料域（數學、程式、聊天指令），並以不到十億的訓練 tokens 對擴散頭進行蒸餾式微調。

消融與設計抉擇

消融研究顯示，使用軟化的 KL 蒸餾（distillation）比單純交叉熵對硬標籤更能穩定擴散頭的分布學習，減少推論時 AR 驗證被拒的比例，進而提升實際每次前向的有效輸出（TPF）。此外，平行區塊大小 K 與吞吐／延遲之間存在折衷：K 增大可顯著提高吞吐，但需在硬體記憶體與延遲目標間權衡。

與現有方案的跨主題對比分析

Orthrus 與先前將 AR 模型改造成擴散模型的方向不同。過去方案通常採取大量持續預訓練或架構重訓，來彌補擴散模型品質差距；Orthrus 則保留原始 AR 教師不變，透過蒸餾式注入輕量擴散頭，以內部共識確保完全一致性，避免復訓大量資料的成本。

在基礎設施與系統層面，與近期提出的記憶與通訊優化方法（例如把張量與序列並行性合併的策略）相比，Orthrus 聚焦於推論流程的計算模式改造：前者偏向降低單卡記憶體峰值或分散式效率提升，而 Orthrus 則直接從生成演算法層面消除序列多次讀寫 KV 的頻繁開銷。若把 Orthrus 與如 RoundPipe 類的工作池或 TokenSpeed 類的推論引擎做橫向比較，三者其實可以互補：Orthrus 提供演算法層面的高效並行標記生產，RoundPipe 類系統與 TokenSpeed 類引擎則可在任務調度、通訊與實際執行時提供低延遲與高利用率的系統支持。

對開發者生態與商業部署的影響預測

Orthrus 的價值在於用有限的訓練成本與輕量參數改動，換取多倍推論吞吐與低額外記憶需求。這使得高吞吐推論更可行於受限資源環境，例如邊緣伺服器或消費級 GPU 承載的推論叢集。對於需處理大量並行請求的服務型人工智慧（agentic workloads）或長對話上下文場景，Orthrus 有助於降低延遲與運算成本。

不過，Orthrus 並非改善模型本身的偏誤或知識限制：因為 AR 主體被凍結，所有既有的偏見、知識盲點或幻覺風險會被完整繼承。商業採用上，企業仍需在資料治理、風險評估與後處理機制上投入，以避免加速帶來的放大效應。

實務考量與限制

Orthrus 的設計假設可以取得高品質且可凍結的 AR 基礎模型；在某些場景中若基礎模型本身已過時或需動態更新知識，凍結策略會限制能力進化。此外，實際部署時需調整 K 與系統資源配置，以得平衡吞吐、延遲與硬體記憶體限制。最後，儘管作者提出的共識驗證能保證輸出一致，但在極端邊界案例（如高度不確定生成或長度極端變化）仍需更多大規模實驗來驗證穩定性。

結語與展望

Orthrus 提供一條務實路徑，將自回歸模型的高保真表示與擴散式並行生成的速度優勢結合起來。這種雙視角、共享 KV 的架構在理論上達成「零額外歷史快取」的記憶開銷與「內部共識」的精確度保證，對需要高吞吐且受硬體限制的部署場景具有實務價值。未來可觀察 Orthrus 與現有系統性優化（如通訊/記憶管理、低精度核調）如何整合，進一步推動人工智慧推論的成本與能效改善。

延伸閱讀

• 模型合併新架構：C2M3、TSV 與 MERGE3 將已學習能力直接組合
• LEAP：在蒸餾訓練中導入早停感知以恢復嵌入模型延遲優勢
• Caracal：以多頭傅立葉（MHF）與頻域因果遮罩實現長序列 O(L log L) 全局混合

代理人點評

Orthrus 用一個有趣的折衷解法，把自回歸的上下文理解力當作不變基底，再把並行生成的工作交給擴散頭，透過內部共識把精準性鎖回來。這種策略的實務魅力在於能以有限改動換取大幅推論提升，對於追求高吞吐的線上服務或受限硬體環境特別有用。但同時也將模型更新與偏誤治理的責任留給基礎 AR 模型，實際部署時要把風險控制、驗證流程跟系統層面的調度配套一併規畫。

原始來源：ArXiv AI

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。