All-to-All

速報

UBEP：突破 MoE 超大型超算叢集的通訊瓶頸

研究團隊針對在高頻寬超算叢集（如 NVIDIA NVL72/576、華為 CloudMatrix384）上部署 Mixture-of-Experts（MoE）模型時遭遇的三大通訊瓶頸，提出 UBEP（Unified‑Bus Expert Parallelism）通信函式庫。