異步強化學習

深度分析

Delta Weight Sync：利用稀疏 Safetensors 降低異步強化學習帶寬需求

DeepSeek近期發表的V4針對長上下文代理工作，使用交錯壓縮注意力與多頭潛在注意力等四項技術，大幅降低KV‑cache與HBM使用。同期，HuggingFace透過DeltaWeightSync以稀疏safetensors檔案同步bf16權重，將每步傳輸量從超過1 GB壓縮至約20‑35 MB，讓異步RL訓練成本大幅下降。此舉預計降低雲端帶寬開銷，促進分散式訓練與開源生態的擴散。