低通信分散式訓練

深度分析

IsoLoCo 與 Iso‑C：提升 DiLoCo 低通信分散式訓練效能的模型合併方法

隨著大型語言模型訓練成本攀升，分散式低通信方法 DiLoCo 透過本地多步更新降低通訊，但隨著工作節點與本地步數增加，效能會退化。研究將模型合併技術引入 DiLoCo，利用 Iso‑C 及其改良版 IsoLoCo 取代簡單平均，實驗顯示在多工作者設定下顯著縮小與全同步資料平行訓練的差距。