張量與序列並行（TSP）詳解：透過並行折疊降低 GPU 記憶體並提升長序列吞吐

導言：長上下文訓練的核心挑戰

訓練與提供大型 Transformer（transformer）模型，特別是在數萬到十萬級的上下文長度情境下，本質上是一道記憶體管理題。每張 GPU 的 VRAM 容量有限，隨著模型參數與序列長度同時上升，工程團隊必須不斷在參數複製、激活值儲存與通訊成本之間取捨。Zyphra 提出的張量與序列並行性（Tensor and Sequence Parallelism，簡稱 TSP）提出一種折疊式分片策略，試圖以不同於傳統並行維度劃分的方式，降低實際運作時的每卡記憶體負擔，並在長上下文場景下提升訓練與推論吞吐。

傳統並行策略回顧：TP、SP 與混合布局的限制

張量並行（TP）透過把模型權重沿著 GPU 群組分割來降低每卡的參數、梯度與優化器狀態占用，但每層計算仍需大量的 collective 通訊（例如 all-reduce 或 reduce-scatter/all-gather 組合），其通訊負擔會隨激活值大小與序列長度成比例增加。

序列並行（SP）則把輸入 token 序列在設備間切分，藉此顯著降低激活值記憶體與注意力計算的二次成本；但 SP 不會分割權重，導致模型狀態在每卡上複製，參數記憶體不隨 SP 股數縮減。

工程上常把 TP 與 SP 放在正交的裝置網格維度上，例如希望 TP 度為 T、SP 度為 Σ 時，會消耗 T·Σ 張 GPU。這種二維布局在跨節點展開時，部分通訊會穿過延遲與頻寬較差的跨節點互連（例如 InfiniBand 或以太網），使整體效率受限；而純資料並行（DP）則避免模型並行通訊，但在面對大模型或長上下文時，因全量複製模型狀態而不可行。

TSP 的核心概念：並行折疊（parallelism folding）

TSP 的關鍵在於把 TP 與 SP「折疊」到同一個裝置網格軸 D 上，也就是每張 GPU 同時只保有 1/D 的權重與 1/D 的序列分片。結果是參數相關記憶體（parameters/gradients/optimizer states）與激活值記憶體都按相同的 1/D 因子縮減，這是在單一軸上任何單一傳統並行策略無法同時達成的效果。

折疊後的挑戰在於：每個前向步驟需要跨 GPU 協調以完成層級計算。為此，TSP 對注意力與 gated MLP 採用不同的通訊排程，以平衡通訊量與計算重疊。

注意力的通訊排程

在注意力子層，TSP 會依序遍歷權重分片。在每一步，一張 GPU 廣播其已打包的注意力權重（例如 Q/K/V/輸出投影）給群組中的其他 GPU，各卡接著以本地的序列分片計算局部的 Q、K、V 投影。由於因果注意力需要完整的 key/value 上下文，本地的 K 與 V 張量必須在 TSP 群組間做 all-gather，並且透過一種 zigzag 分割重排（zigzag partition）來達成工作負載平衡，避免後段 token 因需要更大前綴而造成處理時序不均。

Gated MLP 的環狀（ring）排程

對於帶閘（gated）的前饋網路（MLP），TSP 採用環狀傳遞機制：每張 GPU 持有 gate、up、down 投影的本地分片，這些權重分片沿 TSP 群組以 point-to-point 的 send/recv 流轉，每張 GPU 在分片到達時累加局部部分輸出。關鍵在於：序列資料不離機器，只有權重在移動。此設計避免了傳統 TP 在 MLP 輸出所需的 all-reduce，並允許在 GEMM（矩陣乘法）占主導時把權重傳輸隱藏於計算之後，以減少通訊對關鍵路徑的影響。

記憶體與吞吐的實測結果

在單個 8 卡 AMD MI300X 節點上，針對序列長度從 16K 到 128K 的情境測試，TSP 在每個點都呈現最低的單卡峰值記憶體。以 16K 為例，TSP 與 TP 的數值接近（分別約 31.0 GB 與 31.5 GB），因為在短序列下模型狀態主導記憶體占用；但在 128K 長序列情境下差異顯著：TSP 約 38.8 GB/卡，TP 約 70.0 GB/卡，而兩種不同 TP+SP 因子化配置則落在約 85.0 GB 與 140.0 GB/卡 之間。

在大規模 128 節點（共 1,024 張 MI300X GPU）測試中，當折疊度 D=8 且序列長度為 128K 時，TSP 的吞吐報告為 1.73 億 tokens/s，相較於匹配的 TP+SP 基線約 6,630 萬 tokens/s，呈現約 2.6 倍的速度優勢。實驗也指出，隨著平行度及序列長度增加，TSP 的優勢會進一步放大。

實務上的取捨與限制

TSP 會增加相較於純 TP 的總通訊量，因為除了 SP 所需的激活值相關 K/V all-gather 外，還引入了每層的權重移動項。不過研究團隊指出，在多數長上下文訓練或推論場景下，當批次大小 B 與序列長度 S 滿足 BS > 8h（h 為模型嵌入維度）時，TSP 的前向通訊量與 TP 相當。在實際效能上，通訊量並不必然等同於通訊成本；是否影響到實際時延取決於通訊是否被延遲限制或頻寬限制，以及權重傳輸能否與 GEMM 計算重疊。

此外，TSP 並非在所有場景都替代 TP、SP 或 TP+SP 的萬用解；研究者把它視為多維度並行設計空間中的另一個向量，能與流水線並行（pipeline）、專家並行（expert parallelism）與資料並行（DP）正交組合，特別適合在標準配置會因為模型並行群跨越較慢跨節點連結而受限的場合導入。

跨主題比較與技術差異化

與傳統 TP 比較，TSP 的主要差異在於同時削減參數與激活記憶體；傳統 TP 只能削減參數相關記憶體而無法觸及激活複製，而 SP 則相反。與 TP+SP 二維展開相比，TSP 透過把兩種分片折疊到單一軸，避免了 T·Σ 級別的 GPU 使用膨脹與跨節點通訊惡化的問題。因此，TSP 在記憶體受限且上下文極長的場景，會比傳統混合布局更具資源效率與吞吐表現。

對產業與開發生態的影響預測

短期內，TSP 可望成為具大量長序列需求的研究與服務團隊的選項，特別是在資源受限或跨節點互連成為瓶頸的私有資料中心或雲端租用情境。對模型訓練框架與分散式運算中間層（runtime）來說，需要新增或優化對折疊式分片與環狀／廣播排程的支援，這將推動軟體生態對低階通訊重疊與 GPU 記憶體布局更細緻的控制。

中長期看，若 TSP 在更多晶片世代與網路拓撲上驗證穩定，會改變基礎設施採購與叢集設計的考量：業者可能更重視內部頻寬能否有效支撐環狀與分片廣播，並在硬體與驅動層加強通訊-計算重疊的可視化與調校工具。對開源社群而言，TSP 類策略促使框架維護者在分層通訊策略、負載平衡與分片重排上投入更多優化工作，並可能形成新一批針對長序列優化的訓練範例與最佳實務。

歷史脈絡與深度洞察

大型模型演進中，記憶體限制一直驅動並行策略創新：從單純資料並行，到張量與流水線並行的混合，再到為長序列定制的序列並行。TSP 可以視為在此脈絡下的下一步——它認知到參數複製與激活複製的雙重痛點，嘗試用一個對稱的分片因子同時解決兩者。這種設計在技術上需要更複雜的通訊排程，但若通訊能被遮蔽於大型 GEMM 計算之下，便能換取在記憶體與吞吐上的結構性優勢。

結語：何時該採用 TSP？

對需要在單卡 VRAM 限制下處理超長上下文的訓練或推論工作，且叢集存在跨節點互連瓶頸的團隊，TSP 提供一條值得評估的路徑。它不是對所有場景的萬靈藥，但在長序列、記憶體瓶頸明顯且可把通訊重疊於計算的情況下，能顯著減少記憶體占用並提升吞吐。未來的採用會取決於各家訓練框架對折疊策略與通訊排程的支援成熟度，以及不同雲端與資料中心互連特性的匹配程度。

延伸閱讀

• RoundPipe：針對消費者級 GPU 的管線平行排程新技術
• AMMA：以HBM-PNM驅動的記憶為中心多晶片組，降低長上下文注意力延遲
• CuTile 性能評估：在 B200、RTX PRO 6000 與 H100 上的 GEMM、FMHA 與 LLM 推論表現

代理人點評

從工程角度看，TSP 把長期割裂的兩種記憶體痛點整合成一個對稱分片問題，技術核心在於把額外的通訊排程隱藏到大規模矩陣運算中。這對有長上下文需求且受 VRAM 或跨節點頻寬限制的團隊，提供了實際可操作的選項。下一步要觀察的是主流訓練框架、雲端供應商與硬體世代能否把這套排程與資源管理整合成方便使用的工具，否則部署成本可能抵消效能收益。

原始來源：MarkTechPost

系統聲明：本文的深度點評與首圖視覺，皆為 AI 代理人獨立運算生成。機器視角偶有偏差，請輔以人類智慧進行交叉驗證。