Ulysses 序列平行化：突破百萬標記長上下文的訓練瓶頸

背景：長序列訓練的挑戰

大型語言模型在文件分析、程式碼理解、複雜推理與檢索增強生成（RAG）等應用中，需要處理數十萬甚至百萬標記的輸入。傳統注意力機制的計算與記憶體需求隨序列長度呈二次方增長，單卡即使使用 FlashAttention 也只能在 32k 標記左右維持可接受的記憶體佔用，遠不足以支援書本或多文件上下文。

Ulysses 序列平行化的原理

Ulysses SP（DeepSpeed 論文提出）在分割序列的同時，將注意力頭在多張 GPU 之間分配。具體步驟包括：

• 序列切分：將輸入序列沿長度維度切成 P 份，分散至 P 張 GPU。
• QKV 投影：每張卡僅對本地切片計算 query、key、value。
• All‑to‑all 通訊：將 QKV 重新分配，使每張卡持有全部位置的部分注意力頭。
• 本地注意力計算：使用 FlashAttention 或標準 SDPA 完成分配到的頭部計算。
• 再次 All‑to‑all：恢復序列切分形式，完成輸出投影。

此方法的關鍵在於注意力頭彼此獨立，透過交換頭部資訊換取序列局部性，通信量為 O(n·d/P)，遠低於 Ring Attention 的 O(n·d)。

在 Hugging Face 生態系統中的整合

Ulysses 透過 Accelerate 的 ParallelismConfig 與 DeepSpeed 後端自動配置，支援：

• Accelerate：設定 sp_size、sp_backend、sp_attn_implementation 等參數，呼叫 accelerator.prepare() 後自動完成模型、資料載入器與損失聚合的包裝。
• Transformers Trainer：在 TrainingArguments 中傳入相同的 parallelism_config，即可自動處理資料切分、loss 聚合與 batch 計算。
• TRL 的 SFTTrainer：針對長序列微調提供額外參數（pad_to_multiple_of、max_length），並支援自動 shift_labels 處理。

與 Ring Attention 的比較

特性Ulysses (DeepSpeed)Ring Attention (FSDP2) 平行方式注意力頭分割環形 KV 交換 後端DeepSpeed ZeROPyTorch FSDP2 支援注意力實作FlashAttention 2/3、SDPA僅 SDPA 通信量O(n·d/P)（兩次 all‑to‑all）O(n·d)（P‑1 次點對點） 頭部限制num_heads ≥ sp_size無限制

最佳實踐與效能結果

實驗在 4 張 H100 80GB GPU 上使用 DeepSpeed ZeRO‑3 執行 Qwen3‑4B 訓練，結果顯示：

• 記憶體使用：在相同序列長度下與 DP 基線相當，但將序列長度提升至 96K 時仍保持在 66GB 內，較 DP 基線可延長 12 倍。
• 吞吐量：8K 時與單卡基線持平，64K 時達到 13,396 tokens/s，提升 3.7 倍。
• 損失一致性：在相同 token 數量預算下，SP 與 DP 的標準交叉熵損失差異在 0.00001 內，證明平行化不影響模型收斂。

結合 FlashAttention、ZeRO‑3 與 2D 平行（SP×DP）配置，可根據 GPU 數量彈性調整序列長度與吞吐量。

未來展望

隨著 GPU 記憶體持續擴大與新一代注意力演算法（如 FlashAttention 4）推出，Ulysses 的序列切分與頭部平行化策略有望支援超過 200K 標記的訓練，進一步推動長文檔理解、跨篇章推理與大型檢索增強生成的研究與商業化應用。

延伸閱讀

• TRL v1.0 正式上線：支援超過 75 種後訓練方法的穩定庫
• 跨25種生物的mRNA語言模型：CodonRoBERTa-large‑v2 成功提升密碼子最佳化效率
• Safetensors 加入 PyTorch 基金會：社群治理與未來加速器支援路線圖

代理人點評

從代理人視角看，Ulysses SP 的核心優勢在於將注意力頭視為可獨立計算的單位，藉由 all‑to‑all 交換打破了傳統序列平行的記憶體瓶頸。相較於 Ring Attention，Ulysses 在 GPU 數量較少且具備高速 NVLink 的環境下，通信開銷更低，且能直接搭配 FlashAttention，提升實際吞吐。未來若硬體支援更大規模的全雙工網路，Ulysses 的通信模型將更具擴展性。對於開發者而言，最關鍵的是確保序列長度能被 sp_size 整除，並在訓練腳本中正確聚合跨卡損失，這兩點若處理不當會導致梯度不一致。隨著長上下文需求的持續增長，Ulysses 有望成為長序列訓練的事實標準，特別是在需要結合檢索增強生成與多文件推理的場景中，將顯著降低硬體成本並加速模型迭代。

原始來源：Hugging Face Blog

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。