非同步強化學習

深度分析

Delta Weight Sync：稀疏 safetensors 結合 Hugging Face Bucket 大幅降低非同步強化學習權重同步成本

在非同步強化學習中，模型權重同步需傳送完整檔案，流量龐大。研究者利用BF16下超過99%權重不變的特性，將變更以稀疏safetensors上傳至HubBucket，Xet去重後每步僅傳數十MB，成本降低近百倍，且訓練與推論可分布於不同雲端。